Performa Pretrained T5 Transformer untuk Task Peringkasan Teks Otomatis Abstraktif pada Dataset Berita dan Non-berita Berbahasa Indonesia

Dhiya Musthofa Ajie, Afiahayati, S.Kom., M.Cs., Ph.D

2026 | Skripsi | ILMU KOMPUTER

Pertumbuhan informasi digital yang masif telah memicu fenomena information overload, sehingga sistem peringkasan teks otomatis yang efektif sangat dibutuhkan. Meskipun model Transformer T5 telah terbukti andal dalam tugas Natural Language Processing (NLP), penelitian sebelumnya umumnya hanya berfokus pada evaluasi satu domain berita tunggal. Oleh karena itu, penelitian ini bertujuan untuk menganalisis performa pre-trained model T5 (cahya/t5-base-indonesian-summarization-cased) dalam tugas peringkasan teks abstraktif pada dataset berbahasa Indonesia lintas domain, serta mengkaji pengaruh karakteristik dataset terhadap kualitas ringkasan yang dihasilkan. Penelitian terapan ini menggunakan pendekatan eksperimental dengan mengevaluasi model pada empat dataset sekunder yang memiliki variasi domain, struktur teks, dan tingkat abstraktivitas: IndoSum (berita nasional), XLSum (berita multibahasa), LR-Sum (berita teknis), dan WikiLingua (teks instruksional). Kinerja model dievaluasi secara kuantitatif menggunakan metrik ROUGE. Hasil pengujian menunjukkan bahwa model mencapai performa optimal pada dataset IndoSum dengan nilai F1-Score ROUGE-1 sebesar 71,21, ROUGE-2 sebesar 64,47, dan ROUGE-L sebesar 68,48, yang didorong oleh kesesuaian domain dengan data pretraining. Namun, performa mengalami penurunan signifikan pada dataset XLSum dan LR-Sum yang menuntut kemampuan abstraksi lebih tinggi, di mana model masih mempertahankan bias ekstraktif. Kinerja terendah tercatat pada dataset WikiLingua (ROUGE-1 sebesar 21,88) akibat pergeseran domain yang ekstrem dari struktur naratif linear ke prosedural. Disimpulkan bahwa kesesuaian domain, gaya penulisan, dan tingkat abstraktivitas memiliki pengaruh yang jauh lebih dominan terhadap kualitas ringkasan dibandingkan ukuran dataset, sekaligus menegaskan keterbatasan model Transformer saat ini dalam melakukan generalisasi lintas domain.

The massive growth of digital information has triggered the phenomenon of information overload, necessitating effective automatic text summarization systems. Although the T5 Transformer model has proven reliable in Natural Language Processing (NLP) tasks, previous studies have generally focused on evaluating a single news domain. Therefore, this study aims to analyze the performance of the pre-trained T5 model (cahya/t5-base-indonesian-summarization-cased) in abstractive text summarization tasks across multi-domain Indonesian datasets and to examine the impact of dataset characteristics on the generated summary quality. This applied research utilized an experimental approach by evaluating the model on four secondary datasets with varying domains, text structures, and abstractiveness levels: IndoSum (national news), XLSum (multilingual news), LR-Sum (technical news), and WikiLingua (instructional texts). Model performance was quantitatively evaluated using ROUGE metrics. The results showed that the model achieved optimal performance on the IndoSum dataset with ROUGE-1, ROUGE-2, and ROUGE-L F1-Scores of 71.21, 64.47, and 68.48, respectively, driven by domain suitability with the pretraining data. However, performance decreased significantly on XLSum and LR-Sum datasets which demand higher abstraction capabilities, where the model maintained an extractive bias. The lowest performance was recorded on the WikiLingua dataset (ROUGE-1 of 21.88) due to an extreme domain shift from linear narrative to procedural structures. It is concluded that domain suitability, writing style, and abstractiveness level have a far more dominant influence on summary quality than mere dataset size, while confirming the limitations of current Transformer models in performing cross-domain generalization.

Kata Kunci : Peringkasan Teks Otomatis, Abstraktif, Transformer T5, ROUGE