MITIGASI HALUSINASI LARGE LANGUAGE MODELS PADA TUGAS EKSTRAKSI KATA KUNCI BERITA BAHASA INDONESIA MELALUI PARAMETER-EFFICIENT FINE-TUNING BERBASIS LORA

Muhammad Theofany Aulia Anwar, Dr. Sigit Priyanta, S.Si., M.Kom.,

2026 | Tesis | MAGISTER KECERDASAN ARTIFISIAL

Large Language Models (LLM) telah merevolusi berbagai tugas dalam pemrosesan bahasa alami, termasuk ekstraksi kata kunci. Tantangan serius pun muncul dari fenomena halusinasi, yaitu ketika model menghasilkan kata kunci yang tidak termuat secara eksplisit atau implisit dalam teks sumber. Hal ini berisiko merusak integritas informasi, terutama dalam domain berita yang membutuhkan validitas tinggi. Penelitian ini mengusulkan pendekatan fine-tuning berbasis Low-Rank Adaptation (LoRA) terhadap model Qwen3 sebagai strategi mitigasi halusinasi dalam tugas ekstraksi kata kunci dari artikel berita berbahasa Indonesia. Dengan menyusun dataset berbentuk pasangan teks dan tag referensi dari portal Times Indonesia, model dilatih untuk lebih sesuai pada batasan extractive dengan efisiensi parameter yang tinggi. LoRA disisipkan secara selektif pada layer decoder-only untuk memperkuat pemahaman kontekstual tanpa menambah beban komputasi besar. Evaluasi dilakukan menggunakan analisis berbasis confusion matrix serta metrik semantik BERTScore dan Semantic F1. Pada skenario baseline prompting, performa terbaik model Qwen3 dicapai oleh Qwen3-8B dengan BERTScore F1 = 0,7293 dan Semantic F1 = 0,5473, sementara model pembanding Gemini-2.5 Pro memperoleh Semantic F1 = 0,6261. Setelah fine-tuning LoRA, terjadi peningkatan pada Qwen3-8B mencapai BERTScore F1 = 0,8053 (all-modules) dan Semantic F1 = 0,6631 (qkv-only). Peningkatan ini menunjukkan bahwa LoRA efektif mengurangi indikasi halusinasi dan meningkatkan keselarasan semantik kata kunci terhadap referensi. Secara keseluruhan, penelitian ini berkontribusi pada peningkatan factuality LLM untuk ekstraksi kata kunci berita berbahasa Indonesia melalui strategi pelatihan yang hemat sumber daya namun efektif.

Large Language Models (LLMs) have revolutionized various tasks in Natural Language Processing (NLP), including keyphrase extraction. However, a critical issue arises from hallucination when models generate keywords not explicitly or implicitly present in the input text—posing risks to factual integrity, especially in high-stakes domains like journalism. This study proposes a fine-tuning approach with Low-Rank Adaptation (LoRA) applied to the Qwen3 model to mitigate hallucination in keyword extraction tasks on Indonesian-language news articles. A curated dataset of news-text and human-written tags from Times Indonesia is constructed to train the model under extractive constraints. LoRA modules are strategically injected into decoder-only layers to optimize contextual alignment while maintaining computational efficiency. Evaluation conducted using confusion matrix-based analysis and the semantic metrics BERTScore and Semantic F1. In the baseline prompting scenario, the best performance of the Qwen3 model was achieved by Qwen3-8B with BERTScore F1 = 0.7293 and Semantic F1 = 0.5473, while the comparison model Gemini-2.5 Pro obtained Semantic F1 = 0.6261. After LoRA fine-tuning, there was an improvement in Qwen3-8B, reaching BERTScore F1 = 0.8053 (all-modules) and Semantic F1 = 0.6631 (qkv-only). This improvement shows that LoRA is effective in reducing hallucination indicators and improving the semantic alignment of keywords to references. Overall, this research contributes to improving the factuality of LLMs for extracting Indonesian news keywords through a resource-efficient yet effective training strategy.

Kata Kunci : Large Language Model, Ekstraksi Kata Kunci, Halusinasi, Fine-tuning, LoRA, Berita Indonesia