Pengembangan Sistem Koreksi Isian Singkat Berbahasa Indonesia Dengan Menggunakan Metode YAKE! Dan Siamese Manhattan Long Short-Term Memory

ADIB WIRAWAN PRATITO, Dr. Indriana Hidayah, S.T., M.T. ; Dr. Ir. Rudy Hartanto, M.T., IPM

2023 | Skripsi | S1 TEKNOLOGI INFORMASI

Setiap mahasiswa memiliki tingkat pemahaman yang berbeda beda terhadap suatu materi yang telah diajarkan. Dalam kelas yang besar di mana terdapat lebih dari 100 mahasiswa, tingkat pemahaman mahasiswa akan berbeda beda karena tidak semua mahasiswa memperhatikan pelajaran. Salah satu cara dosen untuk mengetahui sejauh mana mahasiswa paham terhadap suatu materi adalah isian singkat melalui ujian. Meskipun begitu, untuk mengetahui tingkat pemahaman mahasiswa, dosen harus memeriksa jawaban dari tiap mahasiswa yang berbeda beda. Hal tersebut memerlukan waktu yang lama dan menguras tenaga. Tiap mahasiswa memiliki pemilihan kata yang berbeda beda untuk mendeskripsikan jawaban dari pertanyaan yang diberikan. Hal ini membuat proses koreksi semakin rumit dan membuat hasil koreksi tidak konsisten karena terlalu banyak jawaban yang harus diperiksa, sehingga membebani mental dan pikiran dosen. Pengembangan sistem koreksi isian singkat berbahasa Indonesia ditujukan untuk mengatasi permasalahan tersebut. Sistem ini akan dapat digunakan untuk memeriksa jawaban mahasiswa yang menggunakan bahasa Indonesia. Dengan begitu dosen tidak akan kesulitan lagi dalam melakukan koreksi jawaban isian singkat dari mahasiswa. Pada proyek capstone telah diimplementasikan model LSTM sebagai basis untuk memeriksa similaritas dari jawaban isian singkat mahasiswa dengan kunci jawaban dari dosen. Model tersebut menggunakan masukan berupa jawaban mahasiswa dan mengekstrak kata kunci pada tiap tiap jawaban. Kemudian tiap tiap kata kunci tersebut akan diperiksa similaritasnya dengan kata kunci yang telah diekstrak dari kunci jawaban dosen. Pemeriksaan similaritas antar jawaban menggunakan perhitungan jarak Manhattan (Manhattan Distance). Program dapat memberikan tingkat similaritas secara konsisten akan tetapi hasilnya berbeda dengan hasil koreksi manual dari dosen. Penyebabnya adalah kurangnya kualitas dataset yang digunakan dalam proses pelatihan model serta bercampurnya jawaban jawaban pada tiap pertanyaan. Nilai similaritas yang dihasilkan oleh program cenderung lebih rendah dari hasil nilai koreksi manual dari dosen. Akan tetapi, pada kedua hasil memiliki persamaan pada tingkatan nilai mahasiswa. Mahasiswa yang memiliki nilai tinggi pada hasil dosen juga memiliki nilai similaritas yang tinggi pada hasil program. Oleh karenanya, hasil dari pemeriksaan similaritas dari program proyek capstone ini belum dapat digunakan untuk mengganti peran dosen dalam pengoreksian jawaban mahasiswa secara penuh.

Each student has a different level of understanding of the material that has been taught. In a large class where there are more than 100 students, the level of student understanding will vary because not all students pay attention to the lesson. One way for lecturers to find out the extent to which students understand the material is short fill-in-the-blank through exams. However, to find out the level of student understanding, the lecturer must check the answers of each different student. This takes a long time and is draining. Each student has a different choice of words to describe the answer to the question given. This makes the correction process more complicated and makes the correction results inconsistent because there are too many answers that must be checked, thus burdening the mental of the lecturer. The development of an Indonesian short-form correction system is aimed at overcoming these problems. This system will be able to be used to check student answers that use Indonesian. That way, lecturers will no longer have difficulty correcting short fill-in answers from students. In the capstone project, the LSTM model has been implemented as a basis for checking the similarity of short fill-in answers from students with the answer key from the lecturer. The model uses input in the form of student answers and extracts keywords in each answer. Then each of the keywords will be checked for similarity with the keywords that have been extracted from the lecturer's answer key. The similarity check between answers uses the Manhattan distance calculation. The program can provide a consistent level of similarity but the results differ from the results of the lecturer's manual correction. The reason is the lack of quality of the dataset used in the model training process and the mixture of answers to each question. The similarity value produced by the program tends to be lower than the results of the manual correction value from the lecturer. However, both results have similarities in the level of student scores. Students who have high scores on the lecturer's results also have high similarity scores on the program results. Therefore, the results of similarity checking from this capstone project program cannot be used to replace the role of lecturers in correcting student answers in full.

Kata Kunci : Automated Essay Scoring, Keyword Extraction, Siamese Manhattan Long Short-Term Memory, Yet Another Keyword Extraction