ASPECT BASED SENTIMENT ANALYSIS OPTIMIZATION USING VADER AND SMOTE FOR MOBILE GAME REVIEWS

HAYYU ILHAM WICAKSONO, Dr. Azhari, MT.; Dr. Sigit Priyanta, S.Si., M. Kom.

2023 | Tesis | S2 Ilmu Komputer

    Analisis sentimen yang dilakukan secara otomatis masih menjadi tantangan dalam mengenali sentimen teks panjang pada suatu ulasan. Hal itu dapat disebabkan karena kendala pada pengenalan multipolaritas, serta adanya ketidakseimbangan dataset sentimen sebagai data latih, dapat mempengaruhi performa pengenalan sentimen suatu teks.  Model analisis sentimen berbasis aspek diusulkan untuk dapat memperbaiki data latih, agar dapat meningkatkan performa. Metode yang digunakan berbasis machine learning, yaitu Support Vector Machine (SVM), dengan melalui proses segmentasi sentimen VADER dan Synthetic Minority Oversampling Technique (SMOTE).

    Model ini bekerja secara sekuensial dari proses ekstraksi aspek, preprocessing, segmentasi sentimen, feature extraction, oversampling, dan klasifikasi sentimen dengan SVM. Penelitian ini menggunakan dataset berasal dari proses scraping pada laman Google Play, terhadap lima game mobile popular. Hasil dari model yang diusulkan berupa prediksi sentimen setiap ulasan mobile game pada setiap aspek, yaitu aspek visual, gameplay, audio, dan aktor. 

    Berdasarkan hasil pengujian, model yang diusulkan menghasilkan performa lebih baik dari metode pembandingnya, dalam mengenali dengan benar sentimen suatu teks dan multipolaritas sentimen. Hasil pengujian menunjukkan metode SVM yang diusulkan memperoleh akurasi pada aspek visual sebesar 86.4%, gameplay 82.2%, audio 76.1%, dan aktor 82.9%. Sedangkan, Naive Bayes hanya memperoleh akurasi aspek visual sebesar 72.4%, gameplay 68.8%, audio 68%, dan aktor 67.4%. Rata – rata akurasi meningkat 8,9?ri penggunaan metode VADER. Sehingga, model menunjukkan mampu meningkatkan performa dalam mengenali sentimen secara mendalam, yang menunjukkan potensi untuk memajukan analisis sentimen pada teks panjang, khusunya pada ulasan mobile game.

    Automated sentiment analysis encounters challenges in recognizing sentiment in long texts, primarily due to multipolarity and imbalanced training sentiment datasets. To overcome these obstacles and enhance performance, a proposed model based on aspect-based sentiment analysis employs Support Vector Machine (SVM) combination method with sentiment segmentation VADER and SMOTE oversampling. 

    This model deploys in a sequential process, including aspect extraction, preprocessing, sentiment segmentation, feature extraction, SMOTE oversampling, and SVM classification. The research utilizes a dataset from Google Play, scraping reviews of five popular mobile games. The proposed model predicts sentiment for each review across aspects like visual, gameplay, audio, and characters. 

    Evaluation results reveal superior performance compared to base and alternative methods. SVM achieves accuracies of 86.4% (visual), 82.2% (gameplay), 76.1% (audio), and 82.9% (characters). In contrast, Naive Bayes with accuracies of 72.4% (visual), 68.8% (gameplay), 68% (audio), and 67.4% (characters). On average, the proposed model improves accuracy by 8.9% with the VADER method. In conclusion, the proposed model excels in deep sentiment recognition, outperforming the original and alternative methods. By addressing multipolarity and imbalanced datasets, it achieves higher accuracy across various sentiment aspects. Aspect-based sentiment analysis combined with synthetic oversampling, and VADER, shows potential for advancing sentiment analysis in lengthy texts, particularly in mobile game reviews.

Kata Kunci : Natural language processing, aspect based sentiment analysis, fine-grained, VADER, SMOTE, mobile game reviews