Deteksi Anomali Pada Ulasan Game di Steam Menggunakan Model Hibrid BERT dan Variational Autoencoder dengan Analisis Explainable AI

IS'AD INDRASTA PUTRA WIJAYA, Dr. Sri Mulyana, M.Kom

2026 | Tesis | MAGISTER KECERDASAN ARTIFISIAL

Ulasan pengguna pada platform Steam berperan penting dalam membentuk persepsi terhadap kualitas game. Namun, ulasan daring tidak selalu merepresentasikan pengalaman pengguna secara wajar karena dapat dipengaruhi oleh ulasan palsu, bot, kampanye terkoordinasi, atau review bombing. Kondisi tersebut dapat menimbulkan distorsi terhadap reputasi game dan kepercayaan pengguna. Penelitian ini bertujuan mengembangkan model deteksi anomali ulasan game Steam menggunakan pendekatan BERT-VAE Hybrid Semi-Supervised dengan dukungan interpretasi SHAP.

Penelitian ini menggunakan 75.000 ulasan yang diambil secara acak dari data bersih dan metadata game Steam. Teks ulasan beserta konteks tekstual game ditransformasikan menjadi sentence embedding 384 dimensi menggunakan transformer Sentence-Transformers all-MiniLM-L6-v2, lalu direduksi dengan PCA menjadi 128 dimensi dan digabungkan dengan 19 fitur numerik. VAE dilatih tanpa label pada 60.000 data train dan dipantau menggunakan 15.000 data validasi. Sebanyak 700 ulasan yang merupakan subset data utama diberi label oleh tiga verifikator; majority vote digunakan untuk supervised calibration melalui classifier head. SHAP digunakan pada tahap analisis untuk menjelaskan kontribusi fitur terhadap skor classifier final.

Hasil evaluasi pada 150 data held-out test menunjukkan akurasi 0,9800, presisi 0,8462, recall 0,9167, F1-score 0,8800, dan ROC-AUC 0,9928. Hasil interpretasi SHAP menunjukkan bahwa panjang teks ulasan, jumlah kata, dan beberapa komponen BERT-PCA berkontribusi terhadap keputusan classifier final. Hasil tersebut menunjukkan performa tinggi pada subset uji yang terbatas. Karena 700 data berlabel merupakan subset dari 75.000 data utama yang juga digunakan dalam pembelajaran representasi tanpa label, evaluasi ini bersifat transduktif pada tahap representasi; oleh karena itu, hasil tidak diperlakukan sebagai bukti generalisasi luas, terlebih held-out test hanya memuat 12 kasus anomali

User reviews on the Steam platform play an important role in shaping perceptions of game quality. However, online reviews do not always represent user experiences fairly, as they may be influenced by fake reviews, bots, coordinated campaigns, or review bombing. Such conditions can distort game reputation and user trust. This study aims to develop an anomaly detection model for Steam game reviews using a BERT-VAE Hybrid Semi-Supervised approach supported by SHAP interpretation.

This study uses 75,000 reviews randomly sampled from cleaned Steam review data and game metadata. Review text and textual game context are transformed into 384-dimensional sentence embeddings using the all-MiniLM-L6- v2 Sentence-Transformers model, reduced by PCA to 128 dimensions, and combined with 19 numerical features. The VAE is trained without labels on 60,000 training instances and monitored on 15,000 validation instances. A subset of 700 reviews is labeled by three verifiers; majority voting supports supervised calibration through a classifier head. SHAP is used as an analysis stage to explain feature contributions to the final classifier score.

Evaluation on 150 held-out test instances yielded an accuracy of 0.9800, precision of 0.8462, recall of 0.9167, F1-score of 0.8800, and ROC-AUC of 0.9928. SHAP indicated contributions from review length, word count, and several BERTPCA components to the final classifier output. These results indicate high performance on the limited test subset. Because the 700 labeled instances are a subset of the 75,000 instances also used for unlabeled representation learning, the evaluation is transductive at the representation stage; therefore, the results should not be interpreted as evidence of broad generalization, especially because the heldout test contains only 12 anomalous cases

Kata Kunci : Deteksi Anomali, Ulasan Steam, BERT, Variational Autoencoder, Supervised Calibration, SHAP