Lexicon-Based Sentiment Analysis and Topic Modeling to Extract User Experience Pain Points from User Reviews: A Case Study on M-Paspor Google Play Store User Reviews
Muhammad Zhafari Syah, Penguji Peran I Gede Mujiyatna, S.Kom.,M.Kom
2024 | Skripsi | ILMU KOMPUTER
Di era digital, konten yang dibuat oleh pengguna, khususnya ulasan online, telah menjadi sumber informasi yang berharga untuk memahami pengalaman pengguna dan mengidentifikasi area yang perlu ditingkatkan dalam berbagai produk dan layanan. Skripsi ini mengeksplorasi penerapan analisis sentimen berbasis leksikon dan teknik pemodelan topik untuk mengekstrak poin-poin pengalaman pengguna dari ulasan pengguna, dengan fokus pada aplikasi seluler M-Paspor yang tersedia di Google Play Store. Temuan penelitian ini berkontribusi pada pemahaman yang komprehensif tentang kekuatan dan kelemahan M-Paspor dari perspektif basis penggunanya dan kelayakan penggunaan yang diusulkan dengan menggunakan ulasan pengguna.
Metodologi ini mengintegrasikan leksikon sentimen yang banyak digunakan dan algoritme pemodelan topik yang canggih untuk melengkapi keakuratan dan kedalaman analisis. Menggabungkan analisis sentimen berbasis Valence Aware Dictionary and sEntiment Reasoner (VADER), pemodelan topik berbasis Non-Negative Matrix Factorization (NMF), dan analisis n-gram untuk mengkategorikan, mengelompokkan, dan mengekstrak poin-poin keluhan pengguna dari teks ulasan pengguna. Poin-poin keluhan pengguna yang kemudian ditinjau oleh para ahli di bidang pengalaman pengguna perangkat lunak dan teknologi informasi yang berdekatan.
Metode yang diusulkan mampu mengekstrak poin-poin penting dari korpus ulasan negatif ulasan pengguna M-Paspor yang dikategorikan oleh VADER dengan persetujuan sebesar 75?rdasarkan umpan balik yang diberikan oleh pengulas eksternal. Konsistensi antara pengulas eksternal dan objek yang menjadi sampel dalam ulasan juga mencapai 0.128 dan 0.884 yang diukur menggunakan Intraclass Correlation dan Cronbach's Alpha. Sehingga dapat disimpulkan bahwa hasil penelitian kami telah membuktikan tingkat kelayakan metode yang diusulkan dalam menyelesaikan masalah yang diberikan.
In the digital era, user-generated content, particularly online reviews, has become a valuable source of information for understanding user experiences and identifying areas for improvement in various products and services. This undergraduate thesis explores the application of lexicon-based sentiment analysis and topic modeling techniques to extract user experience pain points from user reviews, focusing on the M-Paspor mobile application available on the Google Play Store. The findings of this research contribute to a comprehensive understanding of the strengths and weaknesses of M-Paspor from the perspective of its user base and the feasibility of using the proposed to do so using user reviews.
The methodology integrates widely-used sentiment lexicons and advanced topic modeling algorithms to complement the accuracy and depth of the analysis. Combining Valence Aware Dictionary and sEntiment Reasoner (VADER) based sentiment analysis, Non-Negative Matrix Factorization (NMF) based topic modeling, and n-gram analysis to categorize, cluster, and extract user pain points from user review text. User pain points that are then reviewed by experts in software related user experience and information technology adjacent fields.
The proposed methods were able to extract pain points from the negative review corpus of M-Paspor’s user reviews as categorized by VADER with the approval of 75?cording to the feedback given by the external reviewers. Consistency between the external reviewers and objects acting as the samples in the review also reach 0.128 and 0.884 measured using Intraclass Correlation and Cronbach’s Alpha respectively. Such that it can be concluded that the results of our study have proven the degree of feasibility for the proposed method in solving the given problem.
Kata Kunci : User Experience, User Pain Points, User Reviews, Natural Language Processing, Sentiment Analysis, Topic Modeling, M-Paspor
