Pertumbuhan pesat industri video game dan meningkatnya volume ulasan yang dihasilkan pengguna di platform digital seperti Steam telah menjadikan analisis sentimen otomatis sebagai alat penting untuk mengekstrak wawasan yang bermakna dari umpan balik pemain dalam skala besar. Pendekatan pembelajaran mesin tradisional, termasuk Regresi Logistik, Support Vector Machine (SVM), dan Naïve Bayes, telah banyak diterapkan pada tugas ini tetapi terbatas karena ketergantungannya pada representasi fitur bag-of-words yang tidak dapat menangkap makna kontekstual, sarkasme, negasi, dan bahasa khusus game. Model berbasis Transformer menawarkan kemajuan yang menjanjikan, namun perbandingan langsung antara BERT dan XLNet — dua model dengan strategi pra-pelatihan yang pada dasarnya berbeda — pada ulasan game Steam belum pernah dilakukan sebelumnya.
Studi ini melakukan analisis komparatif BERT dan XLNet untuk klasifikasi sentimen biner ulasan Steam, mengevaluasi kedua model terhadap tiga baseline pembelajaran mesin tradisional. Sebuah dataset berisi 813.062 ulasan berbahasa Inggris dikumpulkan dari 60 game yang dirilis antara tahun 2020 dan 2024 menggunakan Steam Web API. Label sentimen diperoleh dari flag rekomendasi biner bawaan Steam. Kedua model transformer disetel ulang menggunakan hyperparameter yang identik untuk memastikan perbandingan yang adil. Kinerja model dievaluasi menggunakan akurasi, presisi, recall, dan skor F1, dilengkapi dengan analisis kesalahan kualitatif dari kasus-kasus di mana kedua model menghasilkan prediksi yang berbeda.
Hasilnya menunjukkan bahwa kedua model transformer secara substansial mengungguli semua model dasar. BERT mencapai kinerja keseluruhan tertinggi dengan akurasi 93,55?n skor F1 95,37%, sedangkan XLNet mencapai akurasi 93,47?n skor F1 95,31%, dengan perbedaan antara keduanya kurang dari 0,1% di semua metrik. Kedua model mengurangi total kesalahan klasifikasi sekitar 40% dibandingkan dengan model dasar terbaik, Regresi Logistik (akurasi 89,10%, skor F1 92,29%). Analisis kesalahan kualitatif mengungkapkan bahwa meskipun kinerja agregat hampir identik, kedua model menunjukkan pola kesalahan yang saling melengkapi: XLNet menunjukkan penanganan yang lebih unggul terhadap konjungsi adversatif, ulasan panjang dengan resolusi sentimen yang tertunda, dan sarkasme khusus game, sementara BERT menunjukkan kinerja yang lebih kuat pada pembingkaian eksplisit, ekspresi idiomatik, dan kata-kata kasar yang digunakan dalam konteks positif. Temuan ini menunjukkan bahwa kedua arsitektur sama-sama cocok untuk klasifikasi sentimen ulasan Steam tujuan umum, dan pemilihan model harus dipandu oleh fenomena linguistik spesifik yang paling umum terjadi dalam aplikasi target.
The rapid growth of the video game industry and the increasing volume of user generated reviews on digital platforms such as Steam have made automated sentiment analysis an essential tool for extracting meaningful insights from large scale player feedback. Traditional machine learning approaches, including Logistic Regression, Support Vector Machine (SVM), and Naïve Bayes, have been widely applied to this task but are limited by their reliance on bag-of-words feature representations that cannot capture contextual meaning, sarcasm, negation, and gaming specific language. Transformer based models offer a promising advancement, yet a direct comparison between BERT and XLNet — two models with fundamentally different pre-training strategies — on Steam game reviews has not previously been conducted.
This study performs a comparative analysis of BERT and XLNet for binary sentiment classification of Steam reviews, evaluating both models against three traditional machine learning baselines. A dataset of 813,062 English language reviews was collected from 60 games released between 2020 and 2024 using the Steam Web API. Sentiment labels were derived from Steam’s built in binary recommendation flag. Both transformer models were fine-tuned using identical hyperparameters to ensure a fair comparison. Model performance was evaluated using accuracy, precision, recall, and F1-score, complemented by a qualitative error analysis of cases where the two models produced divergent predictions.
The results show that both transformer models substantially outperformed all baseline models. BERT achieved the highest overall performance with an accuracy of 93.55% and an F1-score of 95.37%, while XLNet achieved 93.47?curacy and a 95.31?-score, with the difference between the two falling below 0.1?ross all metrics. Both models reduced total misclassification errors by approximately 40% compared to the best baseline model, Logistic Regression (89.10?curacy, 92.29?-score). The qualitative error analysis revealed that despite near identical aggregate performance, the two models exhibit complementary error patterns: XLNet demonstrates superior handling of adversative conjunctions, long reviews with delayed sentiment resolution, and gaming specific sarcasm, while BERT demonstrates stronger performance on explicit framing, idiomatic expressions, and profanity used in positive contexts. These findings suggest that both architectures are equally suitable for general purpose Steam review sentiment classification, and that model selection should be guided by the specific linguistic phenomena most prevalent in the target application.
Kata Kunci :
Sentiment Analysis, Steam reviews, BERT, XLNet
