EVALUASI KOMPARATIF ANTARA MODEL DeBERTa MANDIRI DAN DeBERTa BEBASIS LSA UNTUK ASPECT-BASED SENTIMENT ANALYSIS

Joy Alvaro Siahaan, Arif Nurwidyantoro, S.Kom., M.Cs., Ph.D.

2026 | Skripsi | ILMU KOMPUTER

Ulasan daring telah menjadi sumber informasi penting bagi konsumen maupun bisnis. Namun, memperoleh wawasan yang terperinci dan andal dari ulasan tersebut masih menjadi tantangan. Sentiment analysis tradisional memberikan satu label sentimen untuk keseluruhan ulasan sehingga tidak mampu menangkap beragam opini yang disampaikan pengguna terhadap fitur produk atau layanan yang berbeda. Aspect-Based Sentiment Analysis (ABSA) mengatasi keterbatasan tersebut dengan mengidentifikasi aspek-aspek tertentu dan mengklasifikasikan sentimen pada tingkat fitur. Meskipun minat terhadap standalone transformer models dan pendekatan hibrida yang mengintegrasikan metode semantik klasik terus berkembang, perbandingan langsung antara kedua pendekatan tersebut dalam kondisi eksperimen yang konsisten masih terbatas.

Penelitian ini mengimplementasikan dan mengevaluasi secara komparatif dua pendekatan ABSA menggunakan FABSA dataset, yaitu model standalone DeBERTa yang melakukan aspect extraction dan sentiment classification dalam satu pipeline terpadu dari awal hingga akhir, serta model hibrida LSA+DeBERTa yang menggunakan unsupervised topic modelling dengan domain aspect-expansion dictionary untuk melakukan aspect discovery dan menggunakan DeBERTa untuk sentiment classification. Kedua model dievaluasi dalam kondisi yang sama menggunakan kerangka 5-fold stratified cross-validation, dengan kinerja yang diukur pada tingkat aspect extraction, sentiment classification, dan ulasan.

Hasil penelitian menunjukkan adanya pertukaran mendasar antara precision dan recall pada kedua arsitektur. Model standalone DeBERTa menghasilkan precision yang lebih tinggi dalam aspect extraction serta kinerja sentiment classification yang lebih baik, sedangkan model LSA+DeBERTa menghasilkan aspect recall yang lebih tinggi dan stabilitas yang lebih baik pada setiap evaluation fold. Temuan ini memberikan panduan empiris dalam memilih arsitektur ABSA berdasarkan kebutuhan aplikasi tertentu.

Online reviews have become an essential source of information for both consumers and businesses, yet extracting detailed and reliable insights from them remains a challenging task. Traditional sentiment analysis assigns a single label to an entire review, failing to capture the varied opinions users express toward different product or service features. Aspect-Based Sentiment Analysis (ABSA) addresses this limitation by identifying specific aspects and classifying sentiment at the feature level. Despite growing interest in both standalone transformer models and hybrid approaches that integrate classical semantic methods, direct comparisons under consistent experimental conditions remain limited.

This research implements and comparatively evaluates two ABSA approaches using the FABSA dataset: a standalone DeBERTa model that performs aspect extraction and sentiment classification within a unified end-to-end pipeline, and a hybrid LSA+DeBERTa model that uses unsupervised topic modelling with a domain aspect-expansion dictionary for aspect discovery and DeBERTa for sentiment classification. Both models are evaluated under the same conditions using a 5-fold stratified cross-validation framework, with performance measured across aspect extraction, sentiment classification, and review levels.

The results reveal a fundamental precision and recall trade-off between the two architectures. The standalone DeBERTa model achieves higher precision in aspect extraction and stronger sentiment classification performance, while the LSA+DeBERTa model achieves higher aspect recall and greater stability across evaluation folds. These findings offer empirical guidance for selecting ABSA architectures based on specific application requirements.

Kata Kunci : Aspect-Based Sentiment Analysis, DeBERTa-v3-Small, Latent Semantic Analysis, BIO Tagging, Aspect Term Extraction, Sentiment Classification, App Reviews, FABSA Dataset