PENILAIAN SOAL ESAI SISWA SEKOLAH MENENGAH MENGGUNAKAN COSINE SIMILARITY DENGAN PREPROCESSING TERM FREQUENCY DAN N-GRAM

Harista Sriwahyuni, BAMBANG NURCAHYO PRASTOWO; GUNTUR BUDI HERWANTO

2019 | Skripsi | S1 ILMU KOMPUTER

Ujian dengan sistem esai merupakan bentuk evaluasi di mana pilihan jawaban tidak disediakan, dan siswa harus menjawab dengan kalimat. Penilaian hasil ujian esai dapat bersifat subjektif dan memakan waktu yang lama jika dilakukan secara manual. Beberapa penelitian pengembangan sistem penilaian esai otomatis telah dikembangkan sejak tahun 1966. Salah satunya metode cosine similarity yang dikombinasikan dengan metode pembobotan TF-IDF pada jawaban esai berbahasa Inggris yang memiliki tingkat akurasi yang tinggi, sedangkan penerapan metode yang sama pada jawaban esai berbahasa Indonesia memiliki akurasi yang lebih rendah. Oleh karena itu, dibutuhkan pengembangan metode yang tepat untuk penilaian esai otomatis dalam Bahasa Indonesia. Dalam penelitian ini akan dilakukan otomasi penilaian esai siswa sekolah menengah dengan text mining. Dataset yang digunakan adalah 6.777 jawaban esai siswa sekolah menengah yang didapatkan dari Pusat Penilaian Pendidikan (PUSPENDIK) atas persetujuan pihak terkait. Metode yang akan digunakan adalah metode Cosine Similarity yang dikombinasikan dengan metode pembobotan Term Frequence dan metode pembobotan n-gram. Nilai performa yang dicari adalah akurasi, presisi, recall, dan F1-Score. Hasil dari penelitian ini adalah performa berupa akurasi sebesar 88,50%, presisi sebesar 93,22%, recall sebesar 87,30%, dan f1-score sebesar 90,16% untuk model term frequency, serta akurasi sebesar 86,36%, presisi sebesar 87,83%, recall sebesar 89,87%, dan f1-score sebesar 88,84% untuk model N-gram dengan n = 2.

An essay examination is a form of evaluation where answer choices are not provided, and students must answer with sentences. Assessment of essay exam results can be subjective and take a long time if done manually. Several researches on the development of automated essay scoring systems have been developed since 1966. One of them is the cosine similarity method combined with the TF-IDF weighting method in English essay answers that have a high degree of accuracy, while the application of the same method to Indonesian essay answers has lower accuracy. Therefore, it is necessary to develop appropriate methods for automatic essay assessment in Indonesian. In this study, the assessment of high school student essays will be automated with text mining. The dataset used is 6,777 answers to high school student essays obtained from the Education Assessment Center (PUSPENDIK) with the consent of the relevant parties. The method that will be used is Cosine Similarity method which is combined with the Term Frequency weighting method and the n-gram weighting method. The performance sought is accuracy, precision, recall, and F1Score. The results of this study are performance in the form of accuracy of 88.50%, precision of 93.22%, recall of 87.30%, and f1-score of 90.16% for model term frequency, and accuracy of 86.36%, precision of 87.83%, recall of 89.87%, and f1score of 88.84% for N-gram models with n = 2.

Kata Kunci : Cosine Similarity, Term Frequency, N-gram, Penilaian Esai Otomatis