A Comparative Analysis of BERTopic and G-BERTopic for Topic Modeling on Indonesian Short-Text News Headlines

Izaaz Rahman Akbar, Yunita Sari, S.Kom., M.Sc., Ph.D.

2026 | Skripsi | ILMU KOMPUTER

Pertumbuhan pesat data teks pendek seperti judul berita menimbulkan tantangan signifikan bagi pemodelan topik akibat keterbatasan konteks dan kelangkaan kemunculan bersama kata, khususnya dalam domain berita berbahasa Indonesia. Penelitian ini membandingkan BERTopic dan G-BERTopic untuk pemodelan topik pada judul berita teks pendek berbahasa Indonesia dari periode COVID-19 (2020–2022) dengan menggunakan embedding IndoSBERT. BERTopic mengintegrasikan embedding berbasis transformer dengan reduksi dimensi, klasterisasi, dan c-TF-IDF, sedangkan G-BERTopic memanfaatkan pengetahuan pra-klaster untuk membatasi pembentukan topik. Model dievaluasi menggunakan koherensi topik dan Indeks Davies–Bouldin. Hasil eksperimen menunjukkan bahwa BERTopic mengungguli G-BERTopic dalam batas jumlah topik yang realistis, dengan menghasilkan topik yang lebih koheren, lebih terpisah dengan baik, serta biaya komputasi yang secara signifikan lebih rendah. Analisis sensitivitas lebih lanjut menunjukkan bahwa peningkatan batas maksimum jumlah topik pada G-BERTopic dapat memperkecil kesenjangan kinerja, namun secara signifikan meningkatkan waktu komputasi. Temuan ini menunjukkan bahwa strategi klasterisasi tanpa batas pada BERTopic lebih sesuai untuk korpus teks pendek berskala besar dengan struktur topik yang belum diketahui.

The rapid growth of short-text data such as news headlines poses significant challenges for topic modeling due to limited context and sparse word co-occurrence, particularly in the Indonesian news domain. This research compares BERTopic and G-BERTopic for topic modeling on Indonesian short-text news headlines from the COVID-19 period (2020–2022) using IndoSBERT embeddings. BERTopic integrates transformer embeddings with dimensionality reduction, clustering, and c-TF-IDF, while G-BERTopic uses pre-clustered knowledge to constrain topic formation. The models are evaluated using topic coherence and the Davies–Bouldin Index. Experi- mental results show that BERTopic outperforms G-BERTopic under practical topic limits, producing more coherent, better-separated topics with substantially lower com- putational cost. Sensitivity analysis further indicates that increasing the maximum topic limit in G-BERTopic narrows the performance gap, but substantially increases runtime. These findings suggest that BERTopic’s unconstrained clustering strategy is more suitable for large-scale short-text corpora with unknown topic structures.

Kata Kunci : Keywords – Topic Modeling, BERTopic, Indonesian News Headlines, Short- Text Analysis, Topic Coherence