Pengembangan model chatbot hukum berbasis hybrid retrieval augmented generation (RAG) dengan metode hybrid retrieval dan MT5 terkait Undang-Undang ITE di Indonesia
Robertus Anom Wibisono, Dr. Sri Mulyana M. Kom
2026 | Skripsi | ILMU KOMPUTER
Akses terhadap informasi hukum di Indonesia, khususnya mengenai Undang-Undang Informasi dan Transaksi Elektronik (UU ITE), sering kali terhambat oleh terminologi yang kompleks dan struktur regulasi yang dinamis
Penelitian ini mengembangkan sistem chatbot hukum berbasis Hybrid Retrieval-Augmented Generation (Hybrid RAG) yang menggabungkan pencarian leksikal BM25 dan pencarian semantik FAISS menggunakan embedding LaBSE, yang diintegrasikan dengan model generatif mT5-small
Sistem ini mengimplementasikan tiga mekanisme penguatan pada komponen retrieval versi 3 (v3), yaitu penggunaan structured identity prefixes pada embedding dokumen, mekanisme Structural Exact Match (SEM) boost sebelum normalisasi skor, dan strategi intent-aware routing yang membagi kueri ke dalam delapan kelas intent berbeda. Komponen generator mT5-small dilatih menggunakan 1.852 pasangan pertanyaan-jawaban yang bersumber dari UU No. 11/2008, UU No. 1/2024, dan PP No. 71/2019 melalui teknik fine-tuning dengan effective batch size 32
Hasil evaluasi menunjukkan bahwa sistem retrieval v3 mencapai rata-rata Hit Rate@3 sebesar 0,4857, MRR 0,4690, dan nDCG@3 0,4638, di mana kategori SPECIFIC_ARTICLE mencapai akurasi sempurna (Hit Rate 1,000). Pada sisi generatif, konfigurasi terbaik (C5) menghasilkan skor ROUGE-L sebesar 0,505 dan BERTScore-F1 sebesar 0,809
Meskipun efektif dalam menyajikan informasi hukum yang terstruktur, penelitian ini mencatat keterbatasan pada deteksi sanksi (PENALTY) dan sanksi prosedural (PROCEDURE), serta perlunya validasi hukum yang terverifikasi untuk menjamin ketepatan interpretasi jawaban
Akses terhadap informasi hukum di Indonesia, khususnya mengenai Undang-Undang Informasi dan Transaksi Elektronik (UU ITE), sering kali terhambat oleh terminologi yang kompleks dan struktur regulasi yang dinamis
Penelitian ini mengembangkan sistem chatbot hukum berbasis Hybrid Retrieval-Augmented Generation (Hybrid RAG) yang menggabungkan pencarian leksikal BM25 dan pencarian semantik FAISS menggunakan embedding LaBSE, yang diintegrasikan dengan model generatif mT5-small
Sistem ini mengimplementasikan tiga mekanisme penguatan pada komponen retrieval versi 3 (v3), yaitu penggunaan structured identity prefixes pada embedding dokumen, mekanisme Structural Exact Match (SEM) boost sebelum normalisasi skor, dan strategi intent-aware routing yang membagi kueri ke dalam delapan kelas intent berbeda. Komponen generator mT5-small dilatih menggunakan 1.852 pasangan pertanyaan-jawaban yang bersumber dari UU No. 11/2008, UU No. 1/2024, dan PP No. 71/2019 melalui teknik fine-tuning dengan effective batch size 32
Hasil evaluasi menunjukkan bahwa sistem retrieval v3 mencapai rata-rata Hit Rate@3 sebesar 0,4857, MRR 0,4690, dan nDCG@3 0,4638, di mana kategori SPECIFIC_ARTICLE mencapai akurasi sempurna (Hit Rate 1,000). Pada sisi generatif, konfigurasi terbaik (C5) menghasilkan skor ROUGE-L sebesar 0,505 dan BERTScore-F1 sebesar 0,809
Meskipun efektif dalam menyajikan informasi hukum yang terstruktur, penelitian ini mencatat keterbatasan pada deteksi sanksi (PENALTY) dan sanksi prosedural (PROCEDURE), serta perlunya validasi hukum yang terverifikasi untuk menjamin ketepatan interpretasi jawaban
Kata Kunci : Chatbot, Hybrid RAG, UU ITE, mT5, Hybrid Retrieval, NLP Hukum.
