Pembuatan Distractor Otomatis untuk Tes Kosakata Bahasa Inggris Menggunakan Generative Artificial Intelligence

MARIA ANASTASIA TAMBUNAN, Dr. Indriana Hidayah, S.T., M.T.;Teguh Bharata Adji, S.T., M.T., M.Eng., Ph.D

2024 | Skripsi | TEKNOLOGI INFORMASI

Perkembangan pesat teknologi kecerdasan buatan (artificial intelligence) telah memberikan dampak signifikan dalam berbagai bidang, termasuk pendidikan. Penelitian ini berfokus pada pemanfaatan Generative AI untuk Pembuatan Soal Otomatis (Automatic Item Generation) dalam menghasilkan distractor untuk tes kosakata bahasa Inggris. Tujuan utama penelitian ini adalah untuk menghasilkan distractor berkualitas tinggi yang menantang dan memiliki hubungan paradigmatik dengan jawaban benar dengan metodologi yang digunakan melibatkan teknik Generative AI untuk mengembangkan distractor dan mengevaluasi kualitasnya melalui penilaian berbasis ahli dan pengguna. Penelitian ini dimulai dengan pengembangan sistem Generative AI yang mampu menghasilkan distractor dengan hubungan paradigmatik yang akan dievaluasi oleh lima ahli yang sama dengan yang mengevaluasi akurasi distractor. Hasil penelitian ini menunjukkan bahwa distractor yang dihasilkan oleh Generative AI memiliki akurasi dan relevansi yang tinggi. Distractor ini tidak hanya masuk akal, tetapi juga efektif dalam mengelabui peserta tes. Hal ini menunjukkan bahwa Generative AI mampu mengatasi beberapa keterbatasan dari metode AIG konvensional, terutama dalam hal variasi jenis soal dan tingkat kesulitan. Dengan Generative AI, soal-soal yang dihasilkan dapat disesuaikan berdasarkan kemampuan individual siswa dan menciptakan pengalaman belajar yang lebih adaptif. Selain itu, AIG juga memungkinkan pembuatan soal dalam jumlah besar dengan cepat sehingga pendidik dapat memiliki bank soal yang luas untuk berbagai keperluan asesmen. Penelitian ini juga menunjukkan bahwa relasi paradigmatik dapat digunakan secara efektif untuk mengukur kemampuan depth vocabulary siswa. Hal tersebut dapat dibuktikan dengan adanya kaitan antara kemampuan kognitif yang lebih tinggi dibandingkan dengan relasi syntagmatic. Kesimpulan dari penelitian ini adalah bahwa Generative AI dapat menghasilkan distractor yang berkualitas tinggi dan efektif dalam konteks tes kosakata bahasa Inggris. Implikasi dari penelitian ini menunjukkan bahwa pendidik dapat memanfaatkan Generative AI untuk meningkatkan efisiensi dan efektivitas asesmen dalam pendidikan. Penelitian selanjutnya dapat mengeksplorasi penggunaan model Generative AI yang lebih canggih dan terbaru, seperti GPT-4 atau model transformer lainnya, untuk meningkatkan kualitas dan variasi distractor yang dihasilkan. Selain itu, implementasi Generative AI dalam pembuatan soal sebaiknya diperluas ke jenis-jenis tes lainnya seperti grammar structure, factual information questions, inference questions, rhetorical purpose questions, dan jenis pertanyaan lainnya dalam tes TOEFL dan IELTS.

The rapid advancement of Artificial Intelligence (AI) technology has significantly influenced various domains, including education. In particular, the ability of AI to enhance educational assessment through Automatic Item Generation (AIG) has garnered substantial interest. This research focuses on leveraging Generative AI to create distractors for English vocabulary tests, aiming to produce high-quality distractors that are both challenging and possess a paradigmatic relationship with the correct answers. The primary objective of this study is to explore the efficacy of Generative AI in generating distractors that can effectively mislead test participants, thereby increasing the difficulty and reliability of the tests. The methodology adopted involves the application of advanced Generative AI models to develop distractors and a comprehensive evaluation of these distractors through expert-based and user-based assessments. Initially, the research entailed the development of a Generative AI system capable of producing distractors with paradigmatic relations. Five experts, who also assessed the accuracy of the distractors, conducted the evaluation. The results indicate that the distractors generated by Generative AI exhibit high accuracy and relevance. These distractors are not only plausible but also effective in deceiving test participants, thereby demonstrating the potential of Generative AI to overcome some limitations of traditional AIG methods. The study found that Generative AI could generate a wide variety of questions tailored to individual student capabilities, creating a more adaptive learning experience. Additionally, AIG allows for the rapid creation of a large number of questions, enabling educators to develop extensive question banks for various assessment needs. The research highlights the effectiveness of paradigmatic relations in measuring students’ vocabulary depth, as these relations are closely linked to higher cognitive abilities compared to syntagmatic relations. Conclusively, the study demonstrates that Generative AI can produce high quality and effective distractors for English vocabulary tests. The implications of this research suggest that educators can utilize Generative AI to enhance the efficiency and effectiveness of educational assessments. Future research should explore more advanced and contemporary Generative AI models, such as GPT-4 or other transformer models, to further improve the quality and variety of generated distractors. Moreover, the application of Generative AI in question generation should be expanded to other test types, such as grammar structure, factual information questions, inference questions, rhetorical purpose questions, and various question types in TOEFL and IELTS.

Kata Kunci : Generative Artificial Intelligence, Automatic Item Generation, Distractor Generation, English Vocabulary Test, Paradigmatic Relation