PENINGKATAN PERFORMA PENILAIAN JAWABAN SINGKAT OTOMATIS DENGAN PENAMBAHAN SYNONYM RECOGNITION

Luthfia Saskia, Dr. Indriana Hidayah, S.T., M.T., Dr. Sri Suning Kusumawardani, S.T., M.T.

2023 | Tesis | S2 Teknologi Informasi

Automatic Short Answer Scoring (ASAS) adalah penilaian otomatis untuk jawaban uraian singkat. Geometric Average Normalized – Longest Common Subsequence (GAN-LCS) merupakan metode berbasis string similarity yang dapat digunakan untuk penilaian jawaban singkat otomatis (ASAS). Metode GAN-LCS sangat mengandalkan panjang karakter dari kedua kalimat yang diukur, dimana semakin besar perbedaan panjang karakter, maka tingkat nilai kesamaan berdampak kurang signifikan. Oleh karena itu, mempertimbangkan penghilangan kata hubung dan imbuhan kata sangat memungkinkan untuk lebih mengurangi jumlah karakter yang akan dihitung kesamaannya. Selain itu, kata-kata yang memiliki arti lebih dari satu (sinonim) dapat diubah menjadi lebih seragam sehingga jumlah karakter dapat sama panjangnya dan menghasilkan peningkatan akurasi pada sistem ASAS.

Penelitian ini bertujuan untuk meningkatkan performa penilaian jawaban singkat otomatis dengan menambahkan Synonym Recognition, serta menghilangkan kata hubung dan kata imbuhan yang dianggap tidak memberikan kontribusi pada kalimat. Synonym Recognition digunakan untuk mengenali kata-kata yang berbeda tetapi memiliki arti yang sama. Proses Synonym Recognition akan mengubah seluruh kata yang ada pada kunci jawaban dan jawaban-jawaban siswa ke bentuk kata utamanya berdasarkan Kamus Tesaurus.

Metode yang diusulkan mampu mengingkatkan performa sistem ASAS. Hal tersebut ditunjukkan dengan nilai korelasi sebesar 0,889 dan nilai RMSE sebesar 1,458. Dalam penelitian ini juga dilakukan Uji T Berpasangan. Dimana menghasilkan t hitung kurang dari t tabel, yang menunjukkan bahwa tidak terdapat perbedaan yang signifikan antara nilai RMSE GAN-LCS sebelum dan sesudah Synonym Recognition.

Automatic Short Answer Scoring (ASAS) is an automatic scoring for short essay answers. Geometric Average Normalized – Longest Common Subsequence (GAN-LCS) is a method based on string similarity that can be used for automatic short answer scoring (ASAS). The GAN-LCS method itself relies heavily on the character length of the two sentences being measured, where the greater the difference in character length, the less significant the impact of the level of similarity is. Therefore, considering eliminating conjunctions and word affixes makes it possible to further reduce the number of characters to be calculated for similarities. In addition, words that have more than one meaning (synonyms) can be changed to be more uniform so that the number of characters can be the same length and result in increased accuracy in the ASAS system.

This study aims to improve the performance of automatic short answer assessments by adding Synonym Recognition, as well as removing conjunctions and affixes that are considered not contributing to the sentence. Synonym Recognition is used to recognize different words but have the same meaning. The Synonym Recognition process will change all the words in the answer key and student answers to the main word forms based on the Thesaurus Dictionary.

The proposed method is able to improve ASAS system performance. This is indicated by a correlation value of 0.889 and an RMSE value of 1.458. Paired T test was also performed in this study. Which results in t value less than t table, which indicates that there is no significant difference between the RMSE GAN-LCS values before and after Synonym Recognition.

Kata Kunci : penilaian jawaban singkat otomatis, synonym recognition, string similarity