Pengembangan Chatbot Untuk Pre-Diagnosis dan Rekomendasi Anxiety Disorder Menggunakan DIET dan Sentence Transformer

Angel Berta Desi Suryanti, Edi Winarko, M. Sc., Ph.D

2024 | Tesis | S2 Ilmu Komputer

Penelitian sebelumnya tentang chatbot untuk pre-diagnosis dan rekomendasi anxiety disorder masih sebatas alat bantu terapi yang berfungsi mengurangi anxiety dimana koresponden belum dapat memeriksakan dini untuk mengetahui tingkat kecemasan dan mendapatkan rekomendasi perlunya melakukan konsultasi ke Psikolog atau tidak.

Dengan membandingkan model NLU DIET dan LogisticRegressionClassifier, sistem chatbot ini dibuat untuk menghitung tingkat kecemasan menggunakan metode GAD-7, DASS dan STAIT/STAIS-5 bersama dengan model semantic similarity yaitu Sentence Transformer atau biasa disebut SBERT yang digunakan sebagai sistem rekomendasi.

Hasil pengujian klasifikasi intent untuk model NLU DIETClassifier dengan nilai akurasi sebesar 95% sementara LogisticRegressionClassifier sebesar 99%. Model Dialog mempunyai akurasi sebesar 68% yaitu menggunakan TEDPolicy. Pengujian dilakukan kepada 35 koresponden yang terdiri dari pelajar, mahasiswa dan pekerja secara acak. Koresponden mengakses secara langsung Telegram bot yang diberi nama @KoncoKu untuk dapat berinteraksi langsung. Dari hasil interaksi ini dari 35 koresponden dihitung nilai MAP model rekomendasi SBERT sebesar 30?n 26% untuk 2 model yang digunakan yaitu indobert base dan paraphrase-multilingual-MiniLM-L12-v2. Serta nilai rata-rata kepuasan dan kinerja sistem chatbot sebesar 3.7 dari 5.

Penelitian ini dapat menjawab permasalahan yang ada bahwa sebuah prototype chatbot dapat digunakan untuk pre-diagnosis dan rekomendasi anxiety disorder dengan model NLU terbaik yaitu LogisticRegressionClassifier sebesar 99?n model dialog dengan akurasi 68%. Sementara itu sistem rekomendasi masih mempunyai MAP yang kecil karena referensi data yang digunakan bukan data klinis yang valid. Hal ini dapat dijadikan sebagai ruang perbaikan untuk penelitian selanjutnya.

The online psychological consultation services available in Indonesia for the pre-diagnosis and recommendation of anxiety disorders are still relatively scarce and underdeveloped. Previous research on chatbots for pre-diagnosis and recommendation of anxiety disorders has primarily focused on being a therapeutic tool to reduce anxiety. In this context, respondents are still unable to conduct early assessments of their anxiety levels and receive recommendations on whether consulting a psychologist is necessary or not.

By comparing the NLU DIET model and LogisticRegressionClassifier, this chatbot system was created to assess anxiety levels using the GAD-7, DASS, and STAIT/STAIS-5 methods, along with the implementation of the Sentence Transformer (SBERT) as a semantic similarity model for recommendations.

The intent classification test results for the NLU DIETClassifier model with an accuracy value of 95% while the LogisticRegressionClassifier is 99%. The Dialog model achieved an accuracy of 68% using the TEDPolicy. Testing was conducted on 35 randomly selected correspondents, including students, university students, and employees. Correspondents interacted directly with the Telegram bot named @KoncoKu. From the interactions with the 35 correspondents, the SBERT recommendation model achieved a MAP value of 30% and 26% for the 2 models used, namely indobert base and paraphrase-multilingual-MiniLM-L12-v2. As well as the average satisfaction and performance rating of the chatbot system was 3.7 out of 5.

This research addresses the existing issues by demonstrating that a prototype chatbot can be utilized for the pre-diagnosis and recommendation of anxiety disorders. The best-performing NLU model is the LogisticRegressionClassifier with an accuracy of 99%, while the dialog model achieved an accuracy of 68%. However, the recommendation system still has a low MAP due to the use of non-clinical and less valid reference data. This serves as an area for improvement in future research.

Kata Kunci : Chatbot, Pre-diagnosis, Anxiety, DIET, SBERT