A Comparative Analysis Of Traditional Machine Learning Algorithms And Transformer-based Models For Emotion Classification In English Text

Kania Adrina Ramadhani, Prof. Dr.-Ing. Mhd. Reza M. I. Pulungan, S.Si., M.Sc.

2026 | Skripsi | ILMU KOMPUTER

Klasifikasi emosi berbasis teks tetap menjadi masalah yang menantang dalam pemrosesan bahasa alami, terutama karena emosi manusia bersifat kompleks dan seringkali memiliki karakteristik yang saling tumpang tindih. Penelitian ini membandingkan tiga model klasifikasi, yaitu Support Vector Machine (SVM), Random Forest, dan BERT, yang dilatih menggunakan dataset emosi DAIR.ai yang memuat 416.809 sampel teks berlabel dengan enam kelas emosi: kesedihan, kegembiraan, cinta, kemarahan, ketakutan, dan kejutan. Ketiga model menggunakan pembagian data train-validation 70/30 dengan 5-Fold Cross Validation yang diterapkan secara ketat pada 70?ta training. Di antara ketiganya, BERT menunjukkan performa terbaik dengan akurasi rata-rata sebesar 93,92?n skor F1 sebesar 93,91%, sementara SVM mencapai akurasi 86,52?ngan skor F1 81,13%, dan Random Forest merai akurasi 84,90?ngan skor F1 79,04%. Meskipun unggul dalam akurasi, waktu pelatihan BERT mencapai sekitar 279 menit, jauh lebih lama dibandingkan SVM yang hanya membutuhkan sekitar 33 detik dan Random Forest sekitar 195,5 menit. Hasil penelitian ini mendukung hipotesis bahwa model berbasis transformer menawarkan performa klasifikasi yang lebih baik, namun dengan biaya komputasi yang jauh lebih tinggi, sehingga pemilihan model sebaiknya disesuaikan dengan kebutuhan akurasi dan keterbatasan sumber daya dari aplikasi yang dimaksud

Text-based emotion classification remains a difficult problem in natural language processing, largely because human emotions are nuanced and often share overlapping characteristics. This study compares three classification models, namely Support Vector Machine (SVM), Random Forest, and BERT, trained on the DAIR.ai emotion dataset containing 416,809 text samples labeled across six emotion classes: sadness, joy, love, anger, fear, and surprise. All three models used a 70/30 train-validation split with 5-fold cross-validation applied strictly on the 70% training set. Among the three, BERT performed best with an average accuracy of 93.92% and F1- score of 93.91%, while SVM reached 86.52?curacy and 81.13?-score, and Random Forest recorded 84.90?curacy and 79.04?-score. Despite its superior accuracy, BERT took around 279 minutes to train, far longer than SVM at roughly 33 seconds and Random Forest at approximately 195.5 minutes. The results support the hypothesis that transformer-based models offer better classification performance but at a considerably higher computational cost, suggesting that the choice of model should ultimately depend on the accuracy needs and resource constraints of the in- tended application.

Kata Kunci : Emotions Text Classification, Transformer-based model, Machine Learning.