Retrieval-augmented Generative Question Answering System as Medicine-focused Search Engine

Adika Farulia Zharfan, Edi Winarko, Drs., M.Sc. Ph.D.

2024 | Skripsi | ILMU KOMPUTER

Penggunaan sarana online dalam berbagai layanan publik telah menjadi praktik umum saat ini, termasuk dalam industri kesehatan. Meskipun repositori informasi obat online seperti Drugs.com menyimpan banyak informasi terkait obat-obatan, mesin pencarinya tidak terlalu optimal karena tidak memberikan jawaban yang sesuai dengan apa yang dicari pengguna. Meskipun studi dalam topik Question Answering (QA) telah berusaha mengatasi masalah tersebut di berbagai bidang dengan menciptakan sistem yang menggunakan model generatif dan sumber data primer yang relevan untuk memberikan jawaban untuk kueri pengguna, alih-alih artikel yang relevan, performa sistem ini dengan menggunakan data tambahan masih perlu diteliti. Karena sektor medis dikenal memiliki kekurangan informasi label, penelitian ini berfokus pada topik obat-obatan dan bertujuan untuk merancang sistem tanya jawab menggunakan pendekatan generatif beraugmentasi temu kembali.

Sistem tanya jawab generatif yang dikembangkan menggunakan dataset ulasan obat dari pasien yang telah diproses awal dan kemudian diberikan ke database vektor Chroma untuk memberikan Konteks tambahan kepada Large Language Model (LLM) saat menerima kueri pengguna dan melakukan similarity search. Evaluasi BLEU mengidentifikasi Flan-T5-Base sebagai LLM yang paling optimal dengan skor 0,1004, sehingga model tersebut diimplementasikan ke dalam sistem tanya jawab generatif yang diusulkan. Untuk perbandingan temuan, sistem QA generatif dasar dibuat juga, menggunakan semua LLM yang telah dievaluasi.

Tes menggunakan serangkaian 15 pertanyaan dilakukan pada kedua sistem tanya jawab generatif tersebut. Hasilnya menunjukkan bahwa terdapat peningkatan akurasi dalam menjawab pertanyaan terkait obat dan pengurangan dalam pembentukan respons khayalan, terutama untuk Flan-T5-Base. Penelitian ini mengatasi kebutuhan akan kemampuan pencarian yang dioptimalkan dalam industri kesehatan, khususnya dalam mengatasi kekurangan informasi label dalam bidang medis.

The use of online means in various public services has become a common practice nowadays, including the health industry. While online public medicine information repository like Drugs.com stores an abundant amount of drug-related information, its search engine is not very optimized as it does not offer an answer to what the users are searching for. While studies in the topic of Question Answering (QA) have been trying to solve such issue in various fields by inventing a system that utilizes generative models and a relevant primary source of data to give answers instead of relevant articles for the user query, how the system performs using supplementary data is still need to be examined. As the medical field is known to have shortages on label information, this study aims to design a QA system using the retrieval-augmented generative approach in the subject of medicines.

The developed generative QA system used a patient drug review dataset as the proprietary data that was pre-processed at first and then passed to the Chroma vector database to supply the Large Language Model (LLM) with an additional context upon receiving a user query and performing similarity search. Initial BLEU evaluation identified Flan-T5-Base as the most optimal LLM with a score of 0.1004, leading to its implementation in the generative QA system. For findings comparison purposes, a basic generative QA system was created using all the assessed LLM.

A test using a set of 15 questions were done to the two generative QA systems. The results indicate improved accuracy in answering medicine-related queries and a reduction in the generation of hallucinated responses, especially for the case of Flan-T5-Base. This research addresses the need for optimized search capabilities in the health industry, specifically in overcoming label information shortages within the medical field.

Kata Kunci : Natural Language Processing, Question Answering, Retrieval Augmented, Large Language Model, Chroma, Medicines, Drugs, BLEU metrics, Hugging Face