PENILAIAN JAWABAN ESAI OTOMATIS DENGAN ALGORITME FASTTEXT

KURNIAWAN EKA NUGRAHA, Dr. Mardhani Riasetiawan, S.E. Ak, M.T.;Guntur Budi Herwanto, S.Kom., MCs.

2019 | Skripsi | S1 ILMU KOMPUTER

Penilaian esai memiliki hambatan untuk bisa diadopsi pada skala besar karena penilaian jawaban esai lebih kompleks dibanding pilihan ganda sehingga dikembangkan berbagai model Automated Essay Scoring (AES). Pada AES berbahasa Indonesia, metode bag-of-word dan tf-idf mampu mendapatkan hasil yang baik pada esai jawaban tertutup namun mengalami penurunan performa F1 signifikan pada esai jawaban terbuka. Dalam penelitian ini dilakukan penilaian esai otomatis pada tiga dataset Pusat Penilaian Pendidikan (PUSPENDIK) yaitu dataset Maccu Piccu yang merupakan esai jawaban tertutup, serta Jaket, dan Sepeda yang merupakan esai jawaban terbuka. Metode yang digunakan adalah Fasttext yang merupakan kombinasi word embedding dengan linear classifier. Grid Search Cross Validation dilakukan untuk mencari parameter model dengan F1 terbaik. Metode Fasttext mampu menambah performa pada AES Bahasa Indonesia pada jawaban terbuka di dataset Jaket mencapai 0.743 dan di dataset Sepeda mencapai 0.767. Metode Fasttext menghasilkan hasil lebih baik pada esai jawaban terbuka dibandingkan bag-of-word tf-idf.

Essay scoring has a drawbacks to be implemented in scale because essay scoring is more complex than multiple choice question. Therefore, Automated Essay Scoring (AES) has been researched. In AES Indonesian, bag-of-word dan tf-idf method could get a good result in closed-ended question but have a significant drip in F1 score in open-ended question. This research done automated essay scoring in three dataset from Pusat Penilaian Pendidikan (PUSPENDIK) which is Maccu Piccu dataset as closed-ended question, and Jaket & Sepeda as open-ended question. Fasstext method which combine word embedding and linear classifier is used. Grid search cross validation is done to search the model with the best F1. Fasttext increases the performance of Indonesian AES in open ended question F1 0.743 in Jaket dataset and F1 0.767 in Sepeda dataset. Fasttext produces better result in open-ended question than its bag-of-word tf-idf counterpart.

Kata Kunci : automated essay scoring, word embedding, fasttext, n-gram