Aspect Based Sentiment Analysis Berbasis BERT dan Multi-Task Learning

Muhammad Naufal Hakim, Syukron Abu Ishaq Alfarozi, S.T., Ph.D.; Prof. Ir. Paulus Insap Santosa, M.Sc., Ph.D., IPU.

2024 | Skripsi | TEKNOLOGI INFORMASI

Perkembangan machine learning telah mempermudah manusia dalam mengkategorikan teks menjadi kelas positif, negatif, dan netral melalui model sentiment analysis. Namun sentiment analysis masih kurang detail dalam menangkap aspek spesifik pada suatu topik. Untuk mengatasi hal ini, penelitian terdahulu telah mengembangkan aspect based sentiment analysis (ABSA) untuk mengetahui sentiment berbasis aspek/topik yang ada pada suatu teks. Pengembangan ABSA paling mutakhir memanfaatkan prinsip multi-label learning dengan menggunakan classifier sejumlah label aspek yang ada pada dataset, sehingga klasifikasi aspek dan sentimen pada suatu label dilakukan sekaligus dalam sebuah classifier.

Penelitian ini mencoba untuk mengeksplorasi penggunaan multi-task learning pada model ABSA dengan menggunakan dua classifier pada setiap label, masing-masing classifier untuk klasifikasi aspek dan sentimen. Dengan demikian, setiap classifier pada model akan memiliki spesialisasi yang lebih baik dengan terfokus pada task tertentu yang lebih spesifik. Selain itu, model akan belajar dari gabungan nilai loss aspek dan sentimen sehingga terdapat potensi peningkatan performansi dengan melakukan penyesuaian nilai bobot antara task klasifikasi aspek dan klasifikasi sentimen.

Hasil penelitian ini menunjukkan bahwa secara umum model multi-task learning (F1 = 96,16%) melampaui non-MTL (F1 = 94,78%) dalam klasifikasi gabungan aspek dan sentimen. Secara terpisah, MTL unggul dalam klasifikasi aspek (F1 = 96,93% vs 96,33%) dan sentimen (F1 = 94,13% vs 90,33%). Pembobotan loss menunjukkan bahwa kinerja task aspek dan task sentimen optimal tercapai saat bobot lebih berat pada klasifikasi aspek (alpha = 0,55), menunjukkan pentingnya akurasi aspek untuk prediksi sentimen yang tepat.

The rapid development of machine learning has facilitated the categorization of text into positive, negative, and neutral classes through sentiment analysis models. However, sentiment analysis still lacks detail in capturing specific aspects of a topic. To address this, prior research has developed Aspect-Based Sentiment Analysis (ABSA) to discern sentiment based on aspects or topics within a text. The most recent advancements in ABSA have leveraged multi-label learning principles, utilizing a classifier for each aspect labels present in the dataset, where the classification of both aspect and sentiment on a given label is conducted concurrently within a single classifier.

This research endeavors to explore the application of multi-task learning in Aspect-Based Sentiment Analysis (ABSA) models, utilizing two classifiers for each label, one specifically for aspect classification and the other for sentiment classification. Consequently, each classifier in the model will possess enhanced specialization, being focused on a more specific task. Moreover, the model will learn from the combined loss values of aspect and sentiment, this presents a potential for performance enhancement by adjusting weight values between aspect and sentiment classification tasks.

The findings of this study indicate that, the multi-task learning model (F1 = 96.16%) surpasses the non-MTL model (F1 = 94.78%) in the combined classification of aspects and sentiments. In separate metrics between aspects and sentiments, MTL excels in aspect classification (F1 = 96.93% vs 96.33%) and sentiment classification (F1 = 94.13% vs 90.33%). The loss weighting demonstrates that optimal performance for the aspect task and sentiment task is achieved when a heavier weight is placed on aspect classification (alpha = 0.55), underscoring the importance of aspect accuracy is needed for precise sentiment prediction.

Kata Kunci : aspect based sentiment analysis, multi-task learning, multi-label learning, BERT, loss weighting