Pengembangan Soal Asesmen Melalui Penggunaan Generative Artificial Intelligence untuk Pembelajaran Rekam Medis Elektronik

Pranawa Dinanta Adhyarta Putra, Ir. Adhistya Erna Permanasari, S.T., M.T., Ph.D., IPM. ; Dr. Indriana Hidayah, S.T., M.T.

2025 | Skripsi | TEKNOLOGI INFORMASI

Pembuatan soal asesmen berupa pilihan ganda atau Multiple Choice Question atau MCQ yang berkualitas untuk pembelajaran Rekam Medis Elektronik (RME) merupakan proses yang menuntut biaya, sumber daya, dan waktu yang cukup banyak bagi para pengajar. Penelitian ini bertujuan untuk mengevaluasi kualitas soal asesmen dan efektivitas dari implementasi Automatic Item Generation (AIG) melalui penggunaan Generative AI sebagai solusi, dengan fokus utama membandingkan performa empat metode yaitu Zero-Shot, Few-Shot, Chain-of-Thought (CoT), dan Role-Based. Metodologi penelitian melibatkan penggunaan konteks materi pengenalan RME untuk menghasilkan soal berbentuk pilihan ganda. Kualitas soal yang dihasilkan kemudian dievaluasi oleh para ahli dari segi struktur susunan soal (format), tata bahasa (grammaticality), kualitas opsi jawaban (options), dan relevansi terhadap konteks materi (contextual relevance), serta dievaluasi oleh pengguna (user-based evaluation) dan metrik otomatis BERTScore. Hasil penelitian menunjukkan bahwa penerapan Generative AI sangat efisien, dengan waktu total hanya 4,3 menit untuk menghasilkan 200 soal dan biaya sebesar USD $0,83, jauh lebih rendah dibandingkan metode konvensional. Dari perbandingan keempat metode prompting, metode CoT secara konsisten menunjukkan performa tertinggi, dibuktikan dengan nilai rata-rata pada metrik grammaticality sebesar 98,57%, options sebesar 94,29%, dan contextual relevance sebesar 97,14%. Keunggulan ini diperkuat oleh nilai BERTScore F1 tertinggi, yaitu 0,8405, yang menunjukkan tingginya kesamaan semantik dengan materi sumber. Evaluasi user-based menunjukkan peningkatan pemahaman siswa terhadap materi pengenalan RME, dengan sebagian besar responden menyatakan soal membantu memberikan wawasan baru. Kesimpulan dari penelitian ini adalah bahwa Generative AI dapat menjadi solusi dalam konteks pembuatan soal asesmen terkait dengan edukasi pengenalan Rekam Medis Elektronik.

The creation of high-quality multiple-choice questions (MCQs) for learning Electronic Medical Records (EMR) is a process that demands significant cost, resources, and time for educators. This study aims to evaluate the quality of assessment items and the effectiveness of implementing Automatic Item Generation (AIG) using Generative AI as a solution, with a primary focus on comparing the performance of four prompting methods: Zero-Shot, Few-Shot, Chain-of-Thought (CoT), and Role-Based. The research methodology involved utilizing contextual material on the introduction to EMR to generate multiple-choice questions. The quality of the generated questions was then evaluated by experts in terms of question structure, grammar, quality of answer options, and contextual relevance, as well as evaluated through user-based evaluation and the automated BERTScore metric. The findings indicate that the application of Generative AI is highly efficient, requiring only 4.3 minutes to produce 200 questions at a cost of USD $0.83, significantly lower compared to conventional methods. Among the four prompting methods, CoT consistently achieved the highest performance, with perfect score in format, average scores of 98.57% for grammar, 94.29% for options, and 97.14% for contextual relevance. This findings was further supported by the highest BERTScore F1 value of 0.8405, reflecting a high semantic similarity to the source material. The user-based evaluation also indicated an improvement in students’ understanding of the EMR introduction material, with the majority stating that the questions helped provide new insights. This study concludes that Generative AI can serve as an effective solution for generating high-quality assessment questions in the context of EMR education.

Kata Kunci : Generative Artificial Intelligence, Rekam Medis Elektronik, Automatic Item Generation, Multiple Choice Question Generation, AI for Education.