Personalized Feedback Based on Short Answer Scoring

Dimas Mahendra Nugraha, Dr. Indriana Hidayah, S.T., M.T.; Adhistya Erna Permanasari, S.T., M.T., Ph.D.

2023 | Skripsi | TEKNOLOGI INFORMASI

Umpan balik dapat membantu mahasiswa dalam meningkatkan hasil pembelajaran. Pemberian umpan balik tersebut dapat dilakukan secara otomatis untuk mempermudah pekerjaan dosen. Terlebih untuk umpan balik yang bersifat personal terkait hasil pekerjaan siswa. Namun, tidak semua umpan balik dapat bermanfaat bagi mahasiswa seperti yang diharapkan.

Sistem umpan balik yang adaptis menggabungkan metode automatic short answer scoring (ASAS) dan automatic recommendation system merupakan salah satu metode yang digunakan untuk memberikan umpan balik secara personal kepada mahasiswa. Rekomendasi bahan pembelajaran yang diberikan tersebut diharapkan dapat membantu mahasiswa dalam pembelajaran setelah mengerjakan tes atau kuis. Namun secara umum konten dari rekomendasi bahan pembelajaran yang diberikan sebagai umpan balik tidak memberikan bukti yang mendukung pernyataan pada referensi jawaban dari dosen, sehingga umpan balik yang seharusnya memiliki manfaat untuk mendukung pemahaman dalam pembelajaran menjadi tidak terpenuhi.

Penelitian ini mengembangkan metode automatic recomendation system dan memberikan umpan balik lainnya yang didapat menggunakan metode yang sama. Metode tersebut menggunakan konsep cari (search), tandai (align) dan beri petunjuk (repair) yang dapat memberikan umpan balik secara personal berdasarkan kemiripan antara jawaban mahasiswa dan referensi jawaban. Untuk mencari kemiripan tersebut, sistem menggunakan sentence-BERT (SBERT) untuk mendapatkan kemiripan secara semantik pada level kalimat. Dari pengujian uji nonparametrik wilcoxon sign rank test menunjukkan hasil bahwa umpan balik yang diberikan menggunakan sistem setelah pengembangan memiliki perbedaan signifikan terhadap kebermanfaatan dari umpan balik pada sistem sebelum (median = 4, n = 30) dan setelah terdapat pengembangan (median = 5, n = 30), Z = 2,7875, p = 0,005 dengan rata-rata perbedaan skor kebermanfaatan umpan balik sebesar 0,70. Hasil penelitian ini menunjukkan peningkatan skor rata-rata kebermanfaatan, dengan nilai skor awal 3,93 menjadi 4,63 (dari skala 1 hingga 5). 

Feedback can help students improve learning outcomes. Providing feedback can be done automatically to give ease to teacher, especially for personal feedback regarding on the results of student work. However, not all feedback can be useful for students as expected. An adaptive feedback system that combines automatic short answer scoring

(ASAS) and automatic recommendation system is one of the methods that can used to provide personalized feedback to student. Recommendations learning materials are expected to help students in learning after taking tests or quizzes. However, in general information inside the recommendation learning materials does not provide evidence to support the statements in the reference answer, so the feedback does not have benefit to support student understanding in learning. This research develops automatic recommendation system method and provide.

other feedback obtained using the same method. This study will use the concept of search, align and repair which can provide feedback based on text evidence. This concept used the same approach as used in automatic short answer scoring that use semantic similarity checking to find similarities between text. To get better result, this study will use SBERT (Sentence-BERT) to get semantically similarity in sentence level. The result of this study indicates that the feedback with the new method has significant differences in terms of students’ understanding of the result of their tests or quizzes (median = 5, n =30), Z = 2.7875, p = 0,005, with mean score difference 0.70.

Kata Kunci : personalized feedback, study materials, automatic short answer scoring, semantic similarity checking