Optimalisasi Knowledge Extraction dan Knowledge Retrieval pada RAG untuk Chatbot Kesehatan Mental

Ega Rizky Setiawan, Dr. Bimo Sunarfri Hantono, S.T., M.Eng.; Dr. Ir. Guntur Dharma Putra, S.T., M.Sc.

2025 | Skripsi | TEKNOLOGI INFORMASI

Pemanfaatan chatbot sebagai sarana pendukung kesehatan mental yang aksesibel dihadapkan pada tantangan krusial terkait akurasi informasi. Arsitektur chatbot yang umum digunakan, seperti pendekatan Retrieval-Augmented Generation (RAG) berbasis potongan dokumen (Naive RAG) memiliki risiko dalam menghasilkan misinformasi dan halusinasi akibat kurangnya pemahaman kontekstual secara komprehensif. Penelitian ini bertujuan untuk mengatasi masalah tersebut dengan merancang, mengimplementasikan, dan mengevaluasi sebuah arsitektur RAG yang diperkaya dengan basis pengetahuan terstruktur berupa Knowledge Graph (KG). Metodologi yang diusulkan berfokus pada tiga pilar utama yaitu perancangan arsitektur RAG yang mengintegrasikan KG untuk menjamin konsistensi dan akurasi, optimalisasi proses Knowledge Extraction (KE) menggunakan LLM untuk membangun KG dari literatur kesehatan mental, dan evaluasi berbagai metode Knowledge Retrieval (KR) untuk menemukan informasi yang paling relevan. Hasil pengujian menunjukkan bahwa arsitektur RAG-KG secara signifikan mengungguli pendekatan Naive RAG berbasis potongan dokumen pada hampir semua metrik uji yang ditunjukkan dengan peningkatan correctness sebesar 8% faithfulness sebesar 4%, dan relevancy sebesar 17%. Penelitian ini mengonfirmasi bahwa penggunaan Knowledge Graph yang dibangun dan diakses melalui metode yang teroptimalkan merupakan pendekatan yang kuat untuk meningkatkan keandalan dan keamanan chatbot. Hasilnya adalah sebuah sistem yang mampu menyajikan informasi kesehatan mental yang lebih faktual, relevan, dan berbasis bukti, sekaligus meminimalkan risiko halusinasi.

The use of chatbots as an accessible facilities for mental health support faces a crucial challenge regarding information accuracy. Common chatbot architectures, such as the conventional Retrieval-Augmented Generation (RAG) approach (Naive RAG) which relies on document chunks, carry a risk of generating misinformation and hallucinations due to a lack of comprehensive contextual understanding. This research aims to address this issue by designing, implementing, and evaluating a RAG architecture enriched with a structured knowledge base in the form of a Knowledge Graph (KG). The proposed methodology focuses on three main pillars that is the design of a RAG architecture that integrates a KG to ensure consistency and accuracy, the optimization of the Knowledge Extraction (KE) process using an LLM to build the KG from mental health literature, and the evaluation of various Knowledge Retrieval (KR) methods to find the most relevant information. Experimental results show that the RAG-KG architecture significantly outperforms the Naive RAG approach, demonstrated by an 8% increase in correctness, a 4% increase in faithfulness, and a 17% increase in relevancy. This study confirms that the use of a Knowledge Graph, built and accessed through an optimized method, is a robust approach to enhance the reliability and security of chatbots. The result is a system capable of delivering more factual, relevant, and evidence-based mental health information, while minimizing the risk of hallucinations.

Kata Kunci : RAG, knowledge graph, knowledge extraction, knowledge retrieval, chatbot, kesehatan mental, LLM