Peningkatan Kinerja Model Neural Cognitive Diagnosis dengan Rekayasa Fitur Waktu dan Teks Pertanyaan untuk Pengukuran Kemampuan Siswa

Tisa Monita, Dr. Indriana Hidayah, S.T., M.T. ; Syukron Abu Ishaq Alfarozi, S.T., Ph.D

2024 | Tesis | S2 Teknologi Informasi

Pendidikan online berkembang pesat, memberikan akses fleksibel dan pengalaman belajar yang lebih personal. Untuk memberikan umpan balik ter- personalisasi, diperlukan pemahaman mengenai kemampuan siswa yang disebut cognitive diagnosis. Cognitive diagnosis, berasal dari ilmu psikometrika, bertujuan menganalisis tingkat pemahaman siswa dan kini diadopsi dalam ilmu komputer dengan neural network. Neural cognitive diagnosis model (NCDM) menggunakan jaringan saraf untuk memprediksi dan menilai kemampuan siswa pada tiap konsep pengetahuan. Penelitian dengan NCDM ini memiliki kinerja AUC 74% pada dataset ASSISTments2009 dan 82% pada dataset math2015. 

Penelitian ini bertujuan meningkatkan kinerja NCDM dengan melakukan rekayasa fitur dengan menambahkan fitur waktu durasi pengerjaan serta question text. Selain itu, penelitian ini akan melakukan pencarian konfigurasi hyperparameter terbaik melalui metode random search dan bayesian optimization. Dataset yang digunakan adalah DBEKT22 serta ASSISTments2017. Kinerja model diukur menggunakan metriks evaluasi AUC, ACC, RMSE serta DOA. 

Hasil dari penelitian ini yaitu: (1) prediksi siswa dalam menjawab pertanyaan dengan nilai evaluasi kinerja yang lebih baik, (2) nilai cognitive diagnosis siswa dalam memahami konsep-konsep pelajaran. Berdasarkan eksperimen yang dilakukan, model dengan modifikasi dengan penambahan ‘time’ durasi pengerjaan terjadi kenaikan nilai AUC 1,17% terhadap model awal untuk dataset ASSISTments2017. Modifikasi dengan penambahan ‘time’ serta question text mengalami kenaikan 3,18% pada dataset DBEKT22, serta hasil modifikasi disertai dengan hyperparameter tuning Bayesian optimization kenaikan 1,42% untuk ASSIST17 dan 3,4% pada DBEKT22. 

Diharapkan hasil penelitian ini dapat menjadi dasar pengembangan pembelajaran personalisasi, dapat diintegrasikan dengan model adaptive testing serta menjadi rujukan untuk penelitian lebih lanjut di bidang model neural network terutama pada bidang edukasi.

Online education is rapidly evolving, offering flexible access and more personalized learning experiences. To provide personalized feedback, it is essential to understand students' abilities, known as cognitive diagnosis. Originating from psychometrics, cognitive diagnosis aims to analyze students' comprehension levels and is now being adopted in computer science using neural networks. Neural Cognitive Diagnosis Models (NCDM) employ neural networks to predict and assess students' capabilities on each knowledge concept. This research demonstrates an NCDM performance with an AUC of 74% on the ASSISTments2009 and 82% for math2015 datasets. 

This study aims to enhance NCDM performance by engineering features such as adding the time duration feature and question text. Additionally, it explores the best hyperparameter configuration through random search and Bayesian optimization methods. The datasets used are DBEKT22 and ASSISTments2017. The model performance is measured using evaluation metrics such as AUC, ACC, RMSE, and DOA. 

The results of this study are as follows: (1) improved student prediction in answering questions with better performance evaluation scores, (2) cognitive diagnosis scores reflecting students' understanding of the lesson concepts. Based on the experiments conducted, the model modified by adding 'time' (duration of task completion) showed a 1,17% increase in AUC compared to the initial model for the ASSISTments2017 dataset. The modification by adding 'time' and question text resulted in a 3,18% increase for the DBEKT22 dataset. Additionally, the modification accompanied by Bayesian optimization hyperparameter tuning showed a 1,42% increase for ASSIST17 and a 3,4% increase for DBEKT22. 

The outcomes of this research are expected to lay the groundwork for the development of personalized learning systems, integration with adaptive testing models, and further research in neural network applications in education. 

Kata Kunci : Cognitive diagnosis, Intelligent tutoring system, Neural network, Feature engineering, Hyperparameter tuning, Bayesian optimization