Evaluasi Layanan Sistem Informasi Peringatan Bencana Info BMKG Menggunakan Aspect-Based Sentiment Analysis dengan Pendekatan Latent Dirichlet Allocation (LDA)

Salwa Maharani, Prof. Ir. Lukito Edi Nugroho, M.Sc., Ph.D. ; Ir. Adhistya Erna Permanasari, S.T., M.T., Ph.D.,IPM

2025 | Skripsi | TEKNOLOGI INFORMASI

Aplikasi Info BMKG merupakan salah satu layanan publik digital yang digunakan masyarakat untuk memperoleh informasi cuaca, gempa, dan peringatan dini bencana. Penelitian ini bertujuan untuk mengevaluasi kualitas aplikasi tersebut berdasarkan ulasan pengguna dengan pendekatan Aspect-Based Sentiment Analysis (ABSA) yang menggunakan pendekatan pemodelan topik Latent Dirichlet Allocation (LDA) dan klasifikasi Support Vector Machine (SVM). Data ulasan dikumpulkan dari Google Play Store dan App Store dalam rentang waktu Januari 2020 hingga Maret 2025. Proses preprocessing dilakukan dalam dua tahap, meliputi normalisasi teks, tokenisasi, POS-tagging, stopword removal, dan stemming.

Model LDA menghasilkan tujuh topik dengan nilai coherence score tertinggi sebesar 0,4653. Topik-topik tersebut kemudian dipetakan ke dalam empat aspek berdasarkan kerangka evaluasi sistem informasi DeLone dan McLean, yaitu Information Quality, System Quality, Service Quality, dan User Satisfaction. Berdasarkan hasil pelabelan, distribusi sentimen dalam ulasan pengguna menunjukkan dominasi sentimen positif (3451 data), diikuti negatif (2088), dan netral (1152).

Model klasifikasi SVM menunjukkan performa akurasi yang baik dalam prediksi aspek dan sentimen, dengan f1-score mencapai 0,88 untuk aspek dan 0,90 untuk sentimen positif dan negatif. Namun, performa menurun ketika kelas netral disertakan. Evaluasi berdasarkan frasa negatif menunjukkan keluhan utama pada keterlambatan notifikasi gempa dan ketidakakuratan prakiraan cuaca. Ulasan netral memberikan saran seperti penambahan fitur widget dan peningkatan akurasi notifikasi. Di sisi lain, ulasan positif mengapresiasi informasi yang akurat dan cepat serta pengalaman penggunaan yang memuaskan. Hasil penelitian ini diharapkan dapat menjadi masukan bagi pengembangan dan perbaikan aplikasi Info BMKG untuk meningkatkan kepuasan dan kepercayaan pengguna.

Info BMKG application is a public digital service used by the Indonesian population to access weather forecasts, earthquake alerts, and early warnings. This study aims to evaluate the quality of the Info BMKG application based on user reviews using an Aspect-Based Sentiment Analysis (ABSA) approach that combines Latent Dirichlet Allocation (LDA) topic modeling and sentiment classification using Support Vector Machine (SVM). User review data were collected from the Google Play Store and App Store between January 2020 and March 2025. Preprocessing was conducted in two stages, including text normalization, tokenization, POS-tagging, stopword removal, and stemming.

The LDA model produced seven topics, with the highest coherence score of 0.4653. These topics were mapped to four evaluation aspects based on the DeLone and McLean Information System Success Model: Information Quality, System Quality, Service Quality, and User Satisfaction. The sentiment labeling results show that positive reviews dominate (3451 entries), followed by negative (2088), and neutral (1152).

The SVM-based multi-label classification model achieved high performance, with an F1-score of 0.88 for aspect classification and 0.90 for sentiment classification positive and negative. However, classification performance declined when the neutral class was included, indicating the challenge of detecting emotionally ambiguous expressions. Negative sentiment analysis revealed major complaints related to delayed earthquake notifications and inaccurate weather forecasts. Neutral reviews often contained suggestions such as the addition of widgets and improvements to system notifications. Positive reviews highlighted user satisfaction and appreciation for the application's speed and accuracy in delivering crucial information. This study provides practical insights for improving the Info BMKG application and enhancing user trust and satisfaction through targeted feature improvements.

Kata Kunci : Analisis Sentimen Berbasis Aspek, Info BMKG, Latent Dirichlet Allocation, Analisis Sentimen, Support Vector Machines