Klasifikasi Emosi Multikelas pada Ulasan Aplikasi Mobile Berbahasa Indonesia dengan Stacking Ensemble dan SMOTE-Tomek

Adila Rahma Widja, Faizah S.Kom., M.Kom.;Aina Musdholifah, S. Kom., M.Kom. Ph.D

2026 | Skripsi | ILMU KOMPUTER

Tingginya adopsi aplikasi mobile di Indonesia menghasilkan volume ulasan pengguna yang masif dan mengandung informasi emosional yang lebih kaya dibandingkan sekadar polaritas sentimen. Penelitian ini mengerjakan tugas klasifikasi emosi enam kelas (anger, fear, happy, love, neutral, dan sad) menggunakan dataset ulasan aplikasi mobile berbahasa Indonesia dari Riccosan dan Saputra (2023) yang terdiri atas 21.352 sampel setelah prapemrosesan. Tiga algoritma machine learning klasik, yaitu Support Vector Machine (SVM), Logistic Regression (LR), dan Random Forest (RF), diimplementasikan dengan ekstraksi fitur TF-IDF unigram-bigram serta SMOTE-Tomek untuk menangani ketidakseimbangan kelas yang ekstrem (rasio mayoritas terhadap minoritas 37:1). Stacking ensemble yang menggabungkan ketiga algoritma tersebut sebagai base learner dengan Logistic Regression sebagai meta-learner kemudian dievaluasi terhadap masing-masing model individual. Hasil penelitian menunjukkan bahwa stacking ensemble mencapai performa terbaik dengan F1-score sebesar 0,8345, mengungguli seluruh model individual. Di antara model individual, Logistic Regression mencatat F1-score tertinggi sebesar 0,8250, diikuti Random Forest (0,8186) dan SVM (0,8114). Kelas fear secara konsisten menjadi tantangan terbesar bagi semua model akibat tumpang tindih leksikal dengan emosi negatif lainnya, sementara kelas happy dan neutral berhasil diklasifikasikan dengan performa sangat tinggi (F1 hingga 0,99–1,00). Dibandingkan dengan penelitian sebelumnya pada dataset yang sama, pendekatan yang diusulkan menunjukkan performa yang kompetitif terhadap metode berbasis deep learning dengan efisiensi komputasi yang jauh lebih tinggi.

The widespread adoption of mobile applications in Indonesia has generated a massive volume of user reviews that reflect emotional states beyond simple positive or negative sentiment. This study addresses the task of six-class emotion classification (anger, fear, happy, love, neutral, and sad) on the Indonesian mobile application review dataset published by Riccosan and Saputra (2023), comprising 21,352 samples after preprocessing. Three classical machine learning algorithms, which are Support Vector Machine (SVM), Logistic Regression (LR), and Random Forest (RF), were implemented with TF-IDF unigram-bigram feature extraction and SMOTE-Tomek to handle severe class imbalance (majority-to-minority ratio of 37:1). A stacking ensemble combining these three algorithms as base learners with Logistic Regression as the meta-learner was then evaluated against each individual model. Results show that the stacking ensemble achieved the best performance with an F1-score of 0.8345, outperforming all individual models. Among individual classifiers, Logistic Regression recorded the highest F1-score of 0.8250, followed by Random Forest (0.8186) and SVM (0.8114). The fear class consistently posed the greatest classification challenge across all models due to lexical overlap with other negative emotions, while happy and neutral were classified with very high performance (F1 up to 0.99–1.00). Compared to prior work on the same dataset, the proposed approach demonstrates competitive performance against deep learning-based methods while offering substantially lower computational cost.

Kata Kunci : klasifikasi emosi, stacking ensemble, TF-IDF, SMOTE-Tomek, teks berbahasa Indonesia, ulasan aplikasi mobile, ketidakseimbangan kelas