Pembangkitan Distractor dengan Relasi Syntagmatic pada English Vocabulary Multiple Choice Question Menggunakan Linguatools Collocation Dictionary

Hary Fadly Yusuf, Dr. Indriana Hidayah, S.T., M.T.; Teguh Bharata Adji, S.T., M.T., M.Eng., Ph.D.

2023 | Tesis | S2 Teknologi Informasi

Penilaian pembelajaran yang saat ini dilakukan secara daring menimbulkan permasalahan baru bagi para pendidik karena memerlukan sumber daya yang besar, membutuhkan banyak waktu, dan memerlukan pemahaman yang mendalam terhadap materi. Standardized English Test yang digunakan saat ini menggunakan format pilihan ganda untuk kemudahan dalam penilaian. Masalah dalam membuat pertanyaan pilihan ganda terutama pada English vocabulary test adalah bagaimana menghasilkan distractor yang masuk akal namun tidak dapat diterima sebagai jawaban. Sampai saat ini, belum ada penelitian yang berfokus pada aspek syntagmatic untuk pembangkitan distractor pada English vocabulary test untuk soal pilihan ganda.

Penelitian ini berfokus pada menghasilkan distractor untuk English vocabulary test yang secara syntagmatic terkait dengan konteks bacaan. Penelitian ini menghasilkan kandidat distractor dari LinguaTools Collocation Dictionary yang disaring berdasarkan Part of Speech dan hubungan sintaksis. Kandidat distractor untuk soal dipilih berdasarkan urutan nilai significance yang menunjukkan nilai relevansi pada konteks bacaan.

Distractor untuk English vocabulary test dievaluasi oleh para pendidik di sekolah menengah atas dan perguruan tinggi yang ahli dalam menyusun tes Bahasa Inggris. Hasil dari metode yang diusulkan menunjukkan bahwa 80,83% distractor yang dihasilkan memenuhi syarat reliability sebagai item English vocabulary test yang dapat menguji vocabulary depth. Evaluasi relasi syntagmatic menunjukkan distractor yang dihasilkan menunjukkan skor plausibility 67,50%.

Learning assessments that are currently conducted online pose new problems for educators as they demand extensive resources, take time, and require a deep understanding of the materials involved. Standardized English tests that have been used for a long time often use a multiple-choice format for convenience in scoring. The problem with creating multiple-choice questions for vocabulary tests is how to generate distractors that are plausible while not being acceptable as answers. 

This research focused on generating distractors for vocabulary questions that were syntagmatically related to the reading passage. To date, there has not yet been any research that focuses on the syntagmatic aspect of generating English vocabulary distractors for multiple-choice questions. This research generated distractor candidates from the LinguaTools Collocation Dictionary that were filtered according to part of speech and syntactic relation, then ranked by the significance of relevance to the context. 

We generated distractors for vocabulary questions which were then evaluated by educators in high schools and colleges who were experts in setting English tests. The results of the proposed method indicated that reliability of 80.83% generated distractors qualified as vocabulary items for multiple-choice questions. Syntagmatic relation evaluation show that generated distractor have 67.50% of plausibility. 

Kata Kunci : distractor generation, English test, vocabulary questions, syntagmatic, NLP, Automatic Item Generation