Analysis of Aspect-Based Sentiment Analysis on Steam Reviews using BERTopic and SVM

Mahardya Ranendra, Dr. Sigit Priyanta, S.Si., M.Kom.

2025 | Skripsi | ILMU KOMPUTER

Aspect-Based Sentiment Analysis (ABSA) menawarkan metode yang komprehensif untuk mengekstraksi wawasan yang berarti dari konten buatan pengguna, dan menawarkan metode tersebut ke Steam, salah satu toko digital paling populer untuk video games. Khususnya, model untuk ulasan pengguna Steam, karena tidak memiliki sentimen per-aspek yang dibangun untuk ulasan tersebut, hal ini menyulitkan konsumen dan pengembang untuk menunjukkan masalah dari sebuah game atau kelebihannya, baik untuk keputusan pembelian atau untuk pengembangan lebih lanjut. Oleh karena itu, memiliki model ABSA dapat membantu pengguna dan pengembang game.

Penelitian ini berfokus pada implementasi ABSA pada ulasan Steam menggunakan BERTopic dan Support Vector Machine (SVM). Selanjutnya, akan dibandingkan dengan model yang serupa, yaitu BERTopic dengan Logistic Regression (LR) sebagai pengklasifikasi. Menyediakan 2 kasus untuk dataset, satu dengan dataset yang lebih lengkap sebagai dataset multi-aspect dan yang lainnya adalah dataset yang telah dipotong sebagai dataset single-aspect. Model ini memberikan pengembang dan konsumen untuk mendapatkan wawasan tentang game dengan ABSA dengan representasi topik tambahan untuk melihat kata kunci. 

Model BERTopic dan SVM sendiri mengklasifikasikan sentimen dengan akurasi rata-rata 81,56?n 81,89?n model LR menunjukkan akurasi rata-rata yang sedikit lebih rendah, yaitu 80,89?n 81,33% pada 2 kasus yang diberikan skenario terbaik. Namun, setelah representasi topik digabungkan, kinerja klasifikasi aspek memiliki rata-rata F1-Score sebesar 38,89%, namun kinerjanya menaik ketika menggunakan dataset single-aspect dengan skor 64,89% di mana kata kunci representasi topik juga lebih baik.

Aspect-Based Sentiment Analysis (ABSA) offers a comprehensive method for extracting meaningful insights from user-generated content, and offering said method to Steam, one of the most popular digital stores for gaming. Specifically, to the Steam user reviews, as it has no in built per-aspect sentiment for the reviews, it makes it hard for both consumers and developers to indicate the issues of a game or its merits, either for purchasing decision or for further development respectively. Therefore, having an ABSA model could help both users and game developers.

This study focuses on implementing ABSA on Steam reviews using BERTopic and Support Vector Machine (SVM). Furthermore, it would be compared to a similar model, so BERTopic with Logistic Regression (LR) as its classifier. Providing 2 cases for the dataset one with a fuller dataset as the multi-aspect and the other a cutdown dataset as the single-aspect dataset. This model provides developers and consumers alike to gain insights about the game with ABSA with additional topic representation to see the keywords. 

The BERTopic and SVM model itself classifies sentiments ranging with an average accuracy of 81.56% and 81.89% and the LR model performing slightly lower average accuracy 80.89% and 81.33% on the 2 cases given a best-case scenario. However, once the topic representation merges the aspect classification performance has an average of F1-Score of 38.89%, however it jumps up in performance when using single-aspect dataset to a score of 64.89% to which the topic representation keywords also are better.

Kata Kunci : Aspect-Based Sentiment Analysis, Sentiment Analysis, Topic Modelling, NLP, Classification, BERTopic, SVM