Analisis Metode Representasi Teks dan Implementasinya dalam Sistem Penilaian Esai Otomatis

Alya Zakhira Anjani, Divi Galih Prasetyo Putri, S.Kom., M.Kom., Ph.D.

2025 | Tugas Akhir | D4 Teknologi Perangkat Lunak

Sistem penilaian esai otomatis merupakan salah satu cabang bidang natural language processing (NLP) yang telah lama diteliti. Penelitian ini melakukan pendekatan pengukuran text similarity dengan metode cosine similarity untuk menentukan prediksi benar dan salah dalam sistem penilaian otomatis. Namun, tahap representasi teks juga tidak kalah penting dengan tahap dalam NLP lainnya. Penelitian ini membandingkan performa tiga metode representasi teks dalam implementasinya ke sistem penilaian esai otomatis. Metode yang akan dibandingkan adalah Indonesian Version of Bidirectional Encoder Representation from Transformer (IndoBERT), Embeddings from Language Model (ELMo), dan FastText. Selain itu, kombinasi ketiga metode tersebut dengan WordNet sebagai tambahan sumber daya leksikal juga dibandingkan. Hasil perbandingan menggunakan dataset “Indonesian Query Answering Dataset for Online Essay Test System” menunjukkan kombinasi model IndoBERT dan WordNet memiliki performa paling baik dibuktikan dengan nilai accuracy tertinggi yang dicapai sebesar 0,69, precision sebesar 0,54, recall sebesar 0,81, dan F1-score sebesar 0,48. Model tersebut lalu diimplementasikan sebagai pengembangan fitur situs Simulasi Ujian Certified Government Accounting Associate (CGAA) untuk evaluasi esai. Hasil pengujian performa fitur menunjukkan waktu load rata-rata sebesar 418,8 millisecond (ms) ketika diakses 10 pengguna secara bersamaan dan 15064 ms saat diakses 100 pengguna secara bersamaan. Fitur yang dikembangkan diharapkan mampu mendukung proses evaluasi dengan lebih efisien.

The automatic essay scoring system is one of many problems in terms of natural language processing (NLP) that has long been studied. This study used an approach using text similarity with cosine similarity method to determine correct and incorrect predictions in an automatic essay scoring system. However, the text representation phase is also an important phase. This study compares the performance of three text representation methods in their implementation into an automatic essay scoring system. The methods are Indonesian Version of Bidirectional Encoder from Transformers (IndoBERT), Embeddings from Language Model (ELMo), and FastText. In addition, the combination of each method with WordNet as an additional lexical resource is also compared. The result of comparison using dataset “Indonesian Query Answering Dataset for Online Essay Test System” shows that the combination of IndoBERT and WordNet model has the best performance proven with highest accuracy achieved being 0.69, precision being 0.54, recall being 0.81, and F1-score being 0.48. Then the model was implemented as an essay evaluation feature development for the Certified Government Accounting Associate (CGAA) Exam Simulation site. The feature performance test results show an average load time of 418.8 ms when accessed by 10 users simultaneously and 15064 ms when accessed by 100 users simultaneously. The features developed are expected to be able to support the evaluation process more efficiently.

Kata Kunci : Model Representasi Teks, IndoBERT, ELMo, FastText