Pengembangan Model Chatbot Bahasa Indonesia Dengan Metode Fine Tuning Dalam Kasus Kesehatan Mental

WIWEKA YOGA SADEWA, Dr. Bimo Sunarfri Hantono, S.T., M.Eng.; Dr. Ir. Guntur Dharma Putra, , S.T., M.Sc.

2024 | Skripsi | TEKNOLOGI INFORMASI

Penelitian ini berfokus pada pengembangan model chatbot yang handal dan responsif yang mampu memberikan dukungan kesehatan mental yang lebih relevan dan berdampak positif bagi pengguna, dengan memanfaatkan teknik fine-tuning. Fokus utamanya adalah untuk menguji apakah fine-tuning Large Language Model (LLM) dengan parameter yang lebih kecil, seperti Llama3, Gemma2, Qwen2, dan Mistral v0.3 dengan masing-masing 8, 9, 7, dan 7 miliar parameter, dapat menghasilkan model yang lebih efektif dalam mendukung kesehatan mental. Penelitian ini dilakukan sebagai respons terhadap keterbatasan yang ditemukan pada metode berbasis aturan (rule-based) yang digunakan dalam Lintang Chatbot, yang masih bergantung pada aturan tetap dan kurang mampu beradaptasi dengan konteks percakapan yang kompleks. Oleh karena itu, penulis mencoba pendekatan baru dengan fine-tuning model LLM. Metodologi yang digunakan mencakup pengembangan dataset sintetis, fine-tuning, dan evaluasi model. Hasil penelitian menunjukkan bahwa fine-tuning efektif dalam meningkatkan kemampuan LLM untuk memberikan respons yang tepat, sensitif, dan kontekstual dalam konteks dukungan kesehatan mental. Model LLM hasil fine-tuning menunjukkan peningkatan signifikan dalam kualitas respons dibandingkan base model. Secara khusus, Qwen2 dengan 7 miliar parameter dan konfigurasi rank dan alpha (64-128) memberikan keseimbangan terbaik antara kelengkapan respons, relevansi, dan validitas, menjadikannya pilihan yang lebih baik untuk model chatbot dalam konteks kesehatan mental.

This research focuses on developing a reliable and responsive chatbot model capable of providing more relevant and impactful mental health support to users, utilizing fine-tuning techniques. The main focus is to test whether fine-tuning Large Language Model (LLM) with smaller parameters, such as Llama3, Gemma2, Qwen2, and Mistral v0.3, each with 8, 9, 7, and 7 billion parameters respectively, can result in a more effective model for supporting mental health. This research was conducted in response to the limitations found in the rule-based method used in Lintang Chatbot, which still relies on fixed rules and is less capable of adapting to complex conversational contexts. Therefore, the authors explored a new approach by fine-tuning LLM models. The methodology used in this research includes synthetic dataset development, fine-tuning, and model evaluation. The results show that fine-tuning is effective in enhancing the LLM ability to provide accurate, sensitive, and contextual responses in the context of mental health support. The fine-tuned LLM models demonstrated a significant improvement in response quality compared to their base models. Specifically, Qwen2, with 7 billion parameters and a rank and alpha configuration of (64-128), provided the best balance between response completeness, relevance, and validity, making it a better choice for a mental health chatbot model.

Kata Kunci : LLM, fine-tuning, chatbot, dataset sintetis, kesehatan mental