Analisis Efektivitas Sharpness-Aware Minimization (SAM) pada Model BERT terhadap Kompleksitas Data Sentimen

Elgita Kisti Cahyani, Prof. Dr. Abdurakhman, S. Si., M. Si.

2026 | Skripsi | STATISTIKA

Model bahasa pralatih seperti BERT terbukti unggul dalam analisis sentimen. Namun, fine-tuning pada model berparameter besar dapat menimbulkan overfitting dan menurunkan kemampuan generalisasi, terutama pada data dengan kompleksitas berbeda. Untuk mengatasi hal ini, dapat digunakan pendekatan optimisasi Sharpness-Aware Minimization (SAM) yang mencari parameter lebih stabil dan mampu meningkatkan generalisasi. Penelitian ini bertujuan untuk menganalisis efektivitas SAM dalam fine-tuning BERT serta hubungannya dengan kompleksitas data sentimen, ditinjau dari jumlah kelas dan volume data latih. Eksperimen membandingkan tiga model, yaitu BERT standar, BERT dengan AdamW, dan BERT dengan SAM berbasis AdamW. Pengujian dilakukan pada dataset SST-2 (sentimen biner) dan SST-5 (sentimen multikelas) menggunakan model BERT base-uncased dari Hugging Face. Evaluasi mencakup akurasi, presisi, recall, F1-score, serta analisis training loss, test loss, dan generalization gap. Hasil penelitian menunjukkan bahwa penerapan SAM secara konsisten meningkatkan kinerja dan generalisasi pada SST-2, ditandai dengan akurasi lebih tinggi dan generalization gap lebih kecil. Sebaliknya, pada SST-5, BERT dengan SAM berbasis AdamW tidak memberikan keunggulan dibandingkan BERT standar maupun BERT dengan AdamW. Pada SST-5, peningkatan jumlah data pelatihan tidak selalu meningkatkan generalisasi, yang menunjukkan bahwa pemilihan model harus mempertimbangkan antara akurasi dan stabilitas. Temuan ini menunjukkan bahwa efektivitas SAM sangat dipengaruhi oleh kompleksitas dataset sentimen.

Pre-trained language models such as BERT have demonstrated strong performance in sentiment analysis tasks. However, fine-tuning large-parameter models often leads to overfitting and reduced generalization, particularly when dealing with data of varying complexity. To address this issue, the Sharpness-Aware Minimization (SAM) approach is employed, aiming to find more stable parameter solutions and improve generalization. This study investigates the effectiveness of SAM in fine-tuning BERT and its relationship to sentiment data complexity, examined through the number of classes and the volume of training data. Experiments compare three models: standard BERT, BERT with the AdamW optimizer, and BERT with SAM based on AdamW. Testing was conducted on the SST-2 dataset (binary sentiment classification) and the SST-5 dataset (multi-class sentiment classification) using the BERT base-uncased model from HuggingFace over five epochs. Evaluation metrics include accuracy, precision, recall, F1-score, as well as analyses of training loss, test loss, and the generalization gap. The results show that applying SAM consistently improves performance and generalization on SST-2, reflected in higher accuracy and a smaller generalization gap. In contrast, on SST-5, BERT with SAM based on AdamW does not outperform either standard BERT or BERT with AdamW. On SST-5, increasing the amount of training data does not always improve generalization, indicating that model selection must consider the trade-off between accuracy and stability. These findings demonstrate that the effectiveness of SAM is strongly influenced by the complexity of the sentiment dataset.

Kata Kunci : Adams, BERT, data sentimen, efektifitas, kompleksitas, SAM