PEMBANGKITAN SOAL OTOMATIS MENGGUNAKAN KOMBINASI POS TAGGER DAN KEYWORD MANIPULATION MODEL STUDI KASUS LOGIKA PENALARAN VERBAL

SEPTIAN EKO PRASETYO, Dr. Indriana Hidayah, S.T., M.T.;Teguh Bharata Adji, S.T., M.T., M.Eng., Ph.D.

2021 | Tesis | MAGISTER TEKNOLOGI INFORMASI

Computer Asisted Assessment (CAA) terbukti dapat membantu mengatasi masalah pada proses asesmen konvensional. Kelebihan CAA yaitu proses koreksi jawaban dengan waktu yang cepat dan efisien. Namun proses asesmen tersebut mempunyai kendala pada penyediaan pertanyaan paralel. Jenis pertanyaan paralel mempunyai bentuk yang berbeda dengan tingkat kesulitan soal yang sama. Selain biaya yang mahal, proses pembuatan pertanyaan paralel membutuhkan pelatihan dan pengalaman. Berbagai penelitian telah dilakukan untuk mengembangkan Automated Item Generation (AIG) yang dapat mengatasi permasalahan tersebut. Kekurangan pada AIG sebelumnya yaitu infrastruktur sistem yang masih menggunakan sintaks yang cukup kompleks. Hasil penelitian sebelumnya menunjukkan bahwa skor usability dikategorikan masih rendah. Tujuan penelitian ini yaitu mengembangkan model AIG yang mempunyai infrastruktur sistem dengan usability yang baik dan mudah digunakan. Model AIG digunakan untuk mengatasi soal verbal pada bidang logika penalaran. AIG yang dikembangkan dalam penelitian ini menggabungkan pendekatan Keyword Manipulation Model dan POS Tagger sebagai pendeteksi kelas kata. Hasil deteksi dijadikan sebagai kata kunci berisi variabel yang mewakili sebuah nilai berupa text. Kemampuan manipulasi variabel tersebut digunakan pada proses pengembangan AIG. Penelitian ini mampu membangkitkan soal jenis paralel verbal pada bidang logika penalaran dengan skor usability sebesar 81. Hasil validasi soal yang dibangkitkan mendapatkan penilaian keterterimaan sebesar 90,9% dari 2 ahli pada bidang matematika. Selain itu, AIG yang dikembangkan memperoleh akurasi sebesar 100% terhadap dataset yang diujikan.

Computer Assisted Assessment (CAA) is proven to help problems in the conventional assessment. The advantages of CAA are the fast and efficient process of correcting answers. However, the assessment process had problems in providing parallel questions. The parallel questions have different form of question with the same level of difficulty. Apart from the high cost, making parallel questions requires training and experience. Various studies have been conducted to develop an Automated Item Generation (AIG) which can solve these problems. The weakness in the previous AIG relates to the system infrastructure which still uses a fairly complex syntax. The results of previous studies indicate that the usability score is still categorized as low. The purpose of this research is to develop an AIG model which has an easy infrastructure and good usability. The AIG model is used to solve verbal questions in the logical reasoning. This study combines the Keyword Manipulation Model and POS Tagger approaches as word class detectors. The detection result is used as a keyword containing a variable represents a value in text. This manipulation ability is used to develop the AIG model. This study is able to generate verbal parallel questions in logical reasoning with a usability score of 81. The validation received an acceptance rating of 90.9% from 2 experts in mathematics. Moreover, the AIG obtained 100% accuracy of the dataset tested.

Kata Kunci : Automated Item Generation, Parallel Question, POS Tagger, Keyword Manipulation Model, Logika Penalaran