Analisis Sentimen Berdasarkan Aspek pada Ulasan Game Selera Nusantara menggunakan Kombinasi Arsitektur Transformer dan Convolutional Neural Network (CNN)

NIA MILLATUL IZZA, Dr. Azhari, M.T.

2024 | Skripsi | ILMU KOMPUTER

Analisis sentimen berdasarkan aspek merupakan metode analisis ulasan dari feedback pengguna untuk mendapatkan informasi dari setiap aspek-aspek pembangun suatu produk secara detail. Model transformer, khususnya BERT dinilai dapat memahami hubungan antarkalimat dengan lebih baik dalam melakukan analisis sentimen serta tidak membutuhkan banyak proses preprocessing sehingga lebih efisien. Penelitian ini akan menggunakan model transformer yaitu BERT dan BERT-CNN untuk melakukan analisis sentimen game selera nusantara menggunakan data berbahasa Indonesia. Terdapat 5 aspek yaitu visual, audio, gameplay, performance, dan visual dengan 3 kelas sentimen yaitu positif, negatif, dan none.

Hasil dari penelitian ini berupa clasification report dan confusion matrix. Penelitian ini menunjukkan bahwa hasil hyperparameter tuning terbaik untuk model BERT menggunakan learning rate 2e-5 dengan dropout 0.3 sedangkan pada BERT-CNN yaitu learning rate 3e-5 dengan dropout 0.3. Kemudian, BERT-CNN memiliki performa yang lebih baik dibandingkan model BERT. Model BERT-CNN memiliki rata-rata akurasi sebesar 94?n f1-score 77% sedangkan performa pada model BERT yaitu akurasi sebesar 93?n f1-score 75%. Hal tersebut menunjukkan bahwa model BERT-CNN pada penelitian ini memiliki performa yang lebih baik dalam menangani ketidakseimbangan distribusi kelas sentiment karena data yang digunakan pada penelitian ini memiliki sentimen none yang lebih banyak dibandingkan sentimen positif dan negatif.

Aspect-based sentiment analysis is a method for analyzing user feedback to obtain detailed information about each aspect of a product. Transformer models, particularly BERT, are considered to understand inter-sentence relationships in sentiment analysis better and require less preprocessing, making them more efficient. This study will use transformer models, specifically BERT and BERT- CNN, to perform sentiment analysis on the "Selera Nusantara" game using Indonesian language data. There are 5 aspects: visual, audio, gameplay, performance, and visual, with 3 sentiment classes: positive, negative, and none.

The results of this study include a classification report and a confusion matrix. The research shows that the best hyperparameter tuning results for the BERT model use a learning rate of 2e-5 with a dropout of 0.3, while for BERT-CNN, the learning rate is 3e-5 with a dropout of 0.3. BERT-CNN demonstrates better performance than the BERT model. The BERT-CNN model has an average accuracy of 94% and an F1-score of 77%, whereas the BERT model has an accuracy of 93% and an F1-score of 75%. This indicates that the BERT-CNN model in this study performs better in handling class imbalance in sentiment distribution, as the dataset contains a higher number of 'none' sentiments compared to positive and negative sentiments.

Kata Kunci : Analisis sentimen berdasarkan aspek, Permainan, Selera Nusantara, BERT, IndoBERT, CNN (Convolutional Neural Network)