Peningkatan Akurasi Chatbot Berbasis Web Menggunakan Dual Intent Entity Transformer

Anwar Khairuddin, Khabib Mustofa, S.Si., M.Kom., Dr.Techn.; Andi Dharmawan, S.Si., M.Cs., Dr.

2023 | Skripsi | ILMU KOMPUTER

Indonesian International Student Mobility Awards (IISMA) merupakan salah satu program Kampus Merdeka. Program ini bertujuan untuk mengirimkan mahasiswa-mahasiswi terbaik untuk menempuh jenjang pendidikan di luar negeri selama 1 semester. Berbagai macam informasi mengenai program ini tersedia di website resmi IISMA, namun tidak sedikit pendaftar yang bertanya melalui email kepada panitia. Tidak sedikit email pertanyaan pendaftar yang masuk sebenarnya sudah tertera pada website resmi terutama pada laman Frequently Asked Question (FAQ). Oleh sebab itu, chatbot dimanfaatkan untuk membantu panitia untuk menjawab pertanyaan peserta dan mengarahkan langsung ke jawaban yang tertera pada laman FAQ.

Penelitian ini dilakukan untuk mengembangkan chatbot berbasis web menggunakan Dual Intent Entity Transformer (DIET) dan spaCy. DIET merupakan sebuah arsitektur yang dikembangkan oleh Rasa untuk klasifikasi intent sekaligus pengenalan entitas secara sekaligus. Setiap pertanyaan akan diklasifikasikan sesuai dengan intent-nya dan direspon oleh chatbot berdasarkan respon yang sudah ditentukan.

Penelitian ini menggunakan data dari email pendaftar yang bertanya terkait pendaftaran IISMA menggunakan bahasa inggris. Pengembangan chatbot memanfaatkan kerangka kerja buatan Rasa yaitu Rasa Framework dengan arsitektur DIET sebagai komponen utama. DIET digunakan sebagai alat untuk klasifikasi dengan tujuan untuk mencari nilai accuracy, precision, recall, dan F1-Score. 

Hasil dari penelitian ini adalah chatbot berbasis web dengan menggunakan DIET sebagai arsitektur utamanya. Chatbot yang dihasilkan memiliki tingkat akurasi 0,82 dalam memilih respon yang sesuai dengan pertanyaan pendaftar. Nilai akurasi tersebut lebih tinggi jika dibandingkan dengan chatbot yang dikembangkan menggunakan spaCy dengan akurasi 0,56.

Indonesian International Student Mobility Awards (IISMA) is one of the Kampus Merdeka’s programs. This program aims to send the best students to study abroad for one semester. The information about this program is available on the official IISMA’s website, but not a few applicants ask questions about the registration through email. Many of the email enquiries are actually already listed on the official website, especially on the Frequently Asked Question (FAQ) page. Therefore, a chatbot is used to help answer applicant’s questions and direct them to answers listed on the FAQ page.

This research was conducted to develop a web-based chatbot using Dual Intent Entity Transformer (DIET) and spaCy. DIET is an architecture developed by Rasa for intent classification and entity recognition at the same time. Each question will be classified according to its intent and responded to by the chatbot based on a predetermined response.

This research uses data from email registrants who ask questions related to IISMA registration using English. The chatbot development utilizes Rasa Framework with DIET architecture as the main component. DIET is used as a tool for classification with the aim of finding accuracy, precision, recall, and f1-score values. The resulting chatbot has an accuracy rate of 0,82 in selecting responses that match the registrant’s questions. This accuracy rate is higher compared to chatbots developed using spaCy with an accuracy rate of 0,56.

Kata Kunci : Chatbot, DIET, Rasa