Personalized Feedback Based on Short Answer Scoring
Dimas Mahendra Nugraha, Dr. Indriana Hidayah, S.T., M.T.; Adhistya Erna Permanasari, S.T., M.T., Ph.D.
2023 | Skripsi | TEKNOLOGI INFORMASI
Umpan balik dapat membantu mahasiswa dalam meningkatkan
hasil pembelajaran. Pemberian umpan balik tersebut dapat dilakukan secara otomatis
untuk mempermudah pekerjaan dosen. Terlebih untuk umpan balik yang bersifat
personal terkait hasil pekerjaan siswa. Namun, tidak semua umpan balik dapat
bermanfaat bagi mahasiswa seperti yang diharapkan.
Sistem umpan balik yang adaptis menggabungkan metode
automatic short answer scoring (ASAS) dan automatic recommendation system
merupakan salah satu metode yang digunakan untuk memberikan umpan balik secara
personal kepada mahasiswa. Rekomendasi bahan pembelajaran yang diberikan
tersebut diharapkan dapat membantu mahasiswa dalam pembelajaran setelah
mengerjakan tes atau kuis. Namun secara umum konten dari rekomendasi bahan
pembelajaran yang diberikan sebagai umpan balik tidak memberikan bukti yang
mendukung pernyataan pada referensi jawaban dari dosen, sehingga umpan balik yang
seharusnya memiliki manfaat untuk mendukung pemahaman dalam pembelajaran
menjadi tidak terpenuhi.
Penelitian ini mengembangkan metode automatic recomendation
system dan memberikan umpan balik lainnya yang didapat menggunakan metode yang
sama. Metode tersebut menggunakan konsep cari (search), tandai (align) dan beri
petunjuk (repair) yang dapat memberikan umpan balik secara personal berdasarkan
kemiripan antara jawaban mahasiswa dan referensi jawaban. Untuk mencari
kemiripan tersebut, sistem menggunakan sentence-BERT (SBERT) untuk mendapatkan
kemiripan secara semantik pada level kalimat. Dari pengujian uji nonparametrik
wilcoxon sign rank test menunjukkan hasil bahwa umpan balik yang diberikan
menggunakan sistem setelah pengembangan memiliki perbedaan signifikan terhadap
kebermanfaatan dari umpan balik pada sistem sebelum (median = 4, n = 30) dan
setelah terdapat pengembangan (median = 5, n = 30), Z = 2,7875, p = 0,005
dengan rata-rata perbedaan skor kebermanfaatan umpan balik sebesar 0,70. Hasil
penelitian ini menunjukkan peningkatan skor rata-rata kebermanfaatan, dengan
nilai skor awal 3,93 menjadi 4,63 (dari skala 1 hingga 5).
Feedback can help students improve learning outcomes.
Providing feedback can be done automatically to give ease to teacher,
especially for personal feedback regarding on the results of student work. However,
not all feedback can be useful for students as expected. An adaptive feedback
system that combines automatic short answer scoring
(ASAS) and automatic recommendation system is one of the
methods that can used to provide personalized feedback to student.
Recommendations learning materials are expected to help students in learning
after taking tests or quizzes. However, in general information inside the
recommendation learning materials does not provide evidence to support the
statements in the reference answer, so the feedback does not have benefit to
support student understanding in learning. This research develops automatic
recommendation system method and provide.
other feedback obtained using the same method. This study
will use the concept of search, align and repair which can provide feedback
based on text evidence. This concept used the same approach as used in
automatic short answer scoring that use semantic similarity checking to find
similarities between text. To get better result, this study will use SBERT
(Sentence-BERT) to get semantically similarity in sentence level. The result of
this study indicates that the feedback with the new method has significant
differences in terms of students’ understanding of the result of their tests or
quizzes (median = 5, n =30), Z = 2.7875, p = 0,005, with mean score difference
0.70.
Kata Kunci : personalized feedback, study materials, automatic short answer scoring, semantic similarity checking