Pengembangan Chatbot Untuk Pre-Diagnosis dan Rekomendasi Anxiety Disorder Menggunakan DIET dan Sentence Transformer
Angel Berta Desi Suryanti, Edi Winarko, M. Sc., Ph.D
2024 | Tesis | S2 Ilmu Komputer
Penelitian
sebelumnya tentang chatbot untuk pre-diagnosis dan rekomendasi anxiety
disorder masih sebatas alat bantu terapi yang berfungsi mengurangi anxiety
dimana koresponden belum dapat memeriksakan dini untuk mengetahui tingkat
kecemasan dan mendapatkan rekomendasi perlunya melakukan konsultasi ke
Psikolog atau tidak.
Hasil
pengujian klasifikasi intent untuk model NLU DIETClassifier dengan nilai
akurasi sebesar 95% sementara LogisticRegressionClassifier sebesar 99%. Model
Dialog mempunyai akurasi sebesar 68% yaitu menggunakan TEDPolicy. Pengujian
dilakukan kepada 35 koresponden yang terdiri dari pelajar, mahasiswa dan
pekerja secara acak. Koresponden mengakses secara langsung Telegram bot yang
diberi nama @KoncoKu untuk dapat berinteraksi langsung. Dari hasil interaksi
ini dari 35 koresponden dihitung nilai MAP model rekomendasi SBERT sebesar 30?n 26% untuk 2 model yang digunakan yaitu indobert
base dan paraphrase-multilingual-MiniLM-L12-v2. Serta nilai rata-rata kepuasan dan kinerja sistem chatbot
sebesar 3.7 dari 5.
Penelitian
ini dapat menjawab permasalahan yang ada bahwa sebuah prototype chatbot
dapat digunakan untuk pre-diagnosis dan rekomendasi anxiety disorder
dengan model NLU terbaik yaitu LogisticRegressionClassifier sebesar 99?n
model dialog dengan akurasi 68%. Sementara itu sistem rekomendasi masih
mempunyai MAP yang kecil karena referensi data yang digunakan bukan data klinis
yang valid. Hal ini dapat dijadikan sebagai ruang perbaikan untuk penelitian
selanjutnya.
The online
psychological consultation services available in Indonesia for the
pre-diagnosis and recommendation of anxiety disorders are still relatively
scarce and underdeveloped. Previous research on chatbots for pre-diagnosis and
recommendation of anxiety disorders has primarily focused on being a
therapeutic tool to reduce anxiety. In this context, respondents are still
unable to conduct early assessments of their anxiety levels and receive
recommendations on whether consulting a psychologist is necessary or not.
By comparing the
NLU DIET model and LogisticRegressionClassifier, this chatbot system was
created to assess anxiety levels using the GAD-7, DASS, and STAIT/STAIS-5
methods, along with the implementation of the Sentence Transformer (SBERT) as a
semantic similarity model for recommendations.
The intent
classification test results for the NLU DIETClassifier model with an accuracy
value of 95% while the LogisticRegressionClassifier is 99%. The Dialog model
achieved an accuracy of 68% using the TEDPolicy. Testing was conducted on 35
randomly selected correspondents, including students, university students, and
employees. Correspondents interacted directly with the Telegram bot named
@KoncoKu. From the interactions with the 35 correspondents, the SBERT
recommendation model achieved a MAP value of 30% and 26% for the 2 models used,
namely indobert base and paraphrase-multilingual-MiniLM-L12-v2. As well as the
average satisfaction and performance rating of the chatbot system was 3.7 out
of 5.
This research
addresses the existing issues by demonstrating that a prototype chatbot can be
utilized for the pre-diagnosis and recommendation of anxiety disorders. The
best-performing NLU model is the LogisticRegressionClassifier with an accuracy
of 99%, while the dialog model achieved an accuracy of 68%. However, the
recommendation system still has a low MAP due to the use of non-clinical and
less valid reference data. This serves as an area for improvement in future
research.
Kata Kunci : Chatbot, Pre-diagnosis, Anxiety, DIET, SBERT