Perbaikan Performa Model Penilaian Jawaban Uraian Singkat Melalui Pemeriksaan Singkatan dan Pemberian Rekomendasi Materi Pembelajaran Otomatis

AR-RAZY MUHAMMAD, Dr. Indriana Hidayah, S.T., M.T.; Adhistya Erna Permanasari, S.T., M.T., Ph.D.

2022 | Tesis | MAGISTER TEKNOLOGI INFORMASI

Geometric Average Normalized - Longest Common Subsequence (GAN-LCS) merupakan salah satu metode penilaian jawaban singkat otomatis yang dapat menangani kesulitan metode string-based similarity dalam mengukur secara akurat nilai kemiripan antar kalimat dengan panjang kata yang berbeda akibat variasi jawaban siswa. GAN-LCS mampu menangani hal ini dengan cara mengeliminasi karakter yang tidak memiliki kontribusi berarti dalam kalimat. Namun, variasi jawaban siswa tidak hanya dari panjang kata saja, tetapi bisa juga muncul akibat pemilihan kata yang digunakan oleh siswa. Misalnya siswa hanya menuliskan kalimat singkatan daripada frasa lengkap. Lebih lanjut, penelitian terkait penilaian jawaban singkat otomatis masih terbatas pada pengembangan kualitas metode penilaian, tanpa mempertimbangkan untuk memberikan timbal balik terhadap pencapaian siswa. Sementara itu, hasil ujian merupakan sebuah indikator yang dapat diandalkan dalam menentukan tingkat pemahaman siswa. Penelitian ini bertujuan untuk memperbaiki performa metode penilaian jawaban singkat otomatis melalui pemeriksaan singkatan dan penghapusan karakter yang tidak memiliki kontribusi berarti dalam kalimat. Selain itu, penelitian ini juga mengusulkan metode pembangkitan rekomendasi materi pembelajaran yang diberikan secara personal terhadap siswa yang membutuhkan berdasarkan hasil ujian. Hasil eksperimen menunjukkan pendekatan yang diusulkan mampu meraih nilai korelasi sebesar 0,626, nilai RSME sebesar 1,4122 dan peningkatan performa waktu eksekusi menjadi 3,18 kali lebih cepat. Pendekatan yang diusulkan mampu meningkatkan nilai korelasi dan menurunkan nilai RSME sekaligus mempercepat waktu eksekusi. Hasil sistem rekomendasi yang dipersonalisasi menunjukkan materi yang diberikan sebagai bahan pelajaran yang direkomendasikan memiliki nilai kemiripan rata-rata sebesar 0,8014.

Geometric Average Normalized - Longest Common Subsequence (GAN-LCS) is one of the automatic short answer scoring (ASAS) methods that can handle the string-based similarity method's difficulty in measuring accurately the similarity between two sentences that have significantly different word lengths due to variations in student answers. GAN-LCS can handle this problem by eliminating non-contributive characters from the sentence. However, variations in student answers can also appear due to the choice of the word used by the student. For instance, students tend only to write abbreviations or acronyms instead of complete phrases. Moreover, research about ASAS is limited to the quality of the scoring method without considering giving feedback on the student's performance. Meanwhile, student exam results can be a reliable indicator of student understanding. This study aims to improve the performance of ASAS through an abbreviations checker and by removing non-contributive character in the sentence. In addition, this study also proposed a method that can personalize the recommendation of study materials for the student based on their exam results. The experiment result shows that the proposed approach can achieve a correlation value of 0,626, RSME value at 0,14122 and increase the performance in time execution to be 3,18 times faster. The proposed approach can increase the correlation value and decrease the RSME value while accelerating the execution time. The results of the personalized recommendation system show that the material provided as recommended study materials has a similarity value of 0,8014.

Kata Kunci : Penilaian uraian singkat otomatis, pemeriksaan singkatan, rekomendasi yang dipersonalisasi