Perbandingan Strategi Retrieval pada RAG Pipeline untuk Generasi Soal Pilihan Ganda Otomatis melalui Pengembangan Plugin Moodle, Ditinjau dari Kepraktisan Sistem dan Kualitas Soal

Rhafif Prasetyo, Syukron Abu Ishaq Alfarozi, S.T., Ph.D; Dr. Indriana Hidayah, S.T., M.T.

2025 | Skripsi | TEKNOLOGI INFORMASI

Perkembangan teknologi Large Language Model (LLM) dengan Retrieval-Augmented Generation (RAG) terbukti mampu mendukung pembuatan soal otomatis yang relevan, sahih, dan efisien. Namun, pengaruh komponen retrieval dalam pipeline RAG belum banyak dikaji secara mendalam, khususnya pada penerapannya dalam Learning Management System (LMS). Penelitian ini berfokus pada pengembangan serta evaluasi pipeline RAG yang diintegrasikan ke dalam Moodle, dengan tujuan menghasilkan soal pilihan ganda secara otomatis. Metodologi penelitian mencakup pembangunan dua plugin, yaitu plugin untuk proses chunking dokumen dan plugin untuk generasi soal berbasis RAG. Sistem dirancang dengan komponen modern seperti embedder, vector store, dan LLM terkini sebagai penghasil soal. Dataset penelitian mencakup topik yang merepresentasikan materi nyata pada LMS, dengan fokus utama pada bidang ilmu komputer. Evaluasi kualitas generasi menggunakan empat metrik, yaitu Faithfulness, relevansi terhadap topik, keberagaman soal (Coverage), dan kejelasan jawaban (Answerability). Evaluasi kepraktisan sistem dilakukan dengan mengukur latensi (median dan p95) serta efisiensi penggunaan token. Hasil penelitian menunjukkan bahwa pipeline RAG berhasil diintegrasikan ke dalam Moodle dan mampu menghasilkan soal secara otomatis dengan evaluasi yang konsisten. Uji omnibus (Friedman) tidak menunjukkan perbedaan signifikan secara global, dan uji Wilcoxon berpasangan dengan koreksi Holm tidak menemukan perbedaan signifikan antar strategi untuk kualitas maupun kepraktisan sistem (contoh skor relevansi topik: BM25 vs Similarity raw p = 0.037, Holm-adjusted p = 0.225). Kesimpulan penelitian ini adalah bahwa RAG dapat diimplementasikan secara efektif pada Moodle, dengan implikasi praktis bahwa strategi retrieval sederhana sudah memadai untuk penggunaan nyata dalam sistem LMS.

The development of Large Language Models (LLMs) with Retrieval-Augmented Generation (RAG) has proven feasible for supporting automated question generation that is relevant, valid, and efficient. However, the impact of the retrieval component within the RAG pipeline has not been extensively studied, particularly in the context of Learning Management Systems (LMS). This research focuses on the development and evaluation of a RAG pipeline integrated into Moodle, aiming to automatically generate multiple-choice questions. The methodology involves the construction of two plugins, namely a plugin for document chunking and a plugin for question generation based on RAG. The system is designed using modern components such as an embedder, a vector store, and a state-of-the-art LLM as the question generator. The dataset covers topics that represent authentic course materials in LMS, with computer science as the primary domain. The quality of the generated questions is evaluated using four metrics: Faithfulness, topic relevance, question diversity (Coverage), and answer clarity (Answerability). Practicality is assessed by measuring latency (median and p95) and token efficiency. The results show that the RAG pipeline was successfully integrated into Moodle and was able to consistently generate questions automatically. The omnibus test (Friedman) did not show a significant global difference, and paired Wilcoxon tests with Holm correction found no significant differences between strategies for either quality or practicality (example topic-relevance score: BM25 vs Similarity raw p = 0.037, Holm-adjusted p = 0.225). The conclusion of this research is that RAG can be effectively implemented in Moodle, with the practical implication that simple retrieval strategies are sufficient for real-world LMS usage.

Kata Kunci : Retrieval-Augmented Generation (RAG), Learning Management System (LMS), Automated Question Generation (AQG), Information Retrieval (IR), Large Language Model (LLM)