Pengaruh Peringkasan Teks Reflektif Mengenai Passion Guru dalam Klastering Esai sebagai Pendekatan Essay Grading (Studi Kasus: TEACH ON E-Learning)

SENSA GUDYA S S, Dr. Yohanes Suyanto, M. I. Kom.; Yunita Sari, S.Kom., M.Sc., Ph.D

2022 | Tesis | MAGISTER ILMU KOMPUTER

Penilaian esai adalah proses rumit yang membutuhkan kemampuan dalam menganalisis, meringkas, dan menilai dokumen. Proses peringkasan termasuk hal yang dibutuhkan untuk membantu fokus proses penilaian dengan menemukan bagian-bagian penting esai. Akan tetapi, proses peringkasan belum didefinisikan dalam pemodelan penilaian esai, yaitu Automated Essay Scoring (AES). Kebutuhan ini dapat dipenuhi dengan penggunaan Automatic Text Summarization (ATS). ATS memiliki definisi proses yang dapat digunakan sebagai model feature engineering untuk menemukan bagian-bagian penting dari esai. Penelitian ini berfokus pada pengembangan ATS dengan model klastering untuk mendukung proses Automatic Essay Grading (AEG) sebagai salah satu bentuk AES. Data penelitian berupa 403 esai TEACH ON E-learning yang direpresentasikan dengan kombinasi vektor kata dan readability index. Proses klastering dimodelkan dengan implementasi SOM dan HDBSCAN, kemudian diukur dengan silhouette score sebagai nilai hasil akhir pemodelan. Berdasarkan evaluasi yang dilakukan, model klastering terbaik adalah model dengan penggunaan ringkasan esai TextRank. Hal ini menunjukkan bahwa klastering esai menggunakan implementasi ATS, dalam hal ini berupa metode TextRank, dapat memberikan pengaruh baik dengan terbentuknya klaster yang lebih baik daripada proses klastering dengan 2 bentuk data lainnya. Penelitian ini mendefinisikan Klaster 12 dan Klaster 21 sebagai klaster dengan kandidat dokumen terbaik berdasarkan pendekatan analisis menggunakan readability index dan ekstraksi frasa umum dengan n-gram = 3.

Essay assessment is a complex process that requires the ability to analyze, summarize, and grade documents. The summarization process includes what is needed to help focus the assessment process by locating the important parts of the essay. However, the process has not been defined in the assessment modeling, namely Automated Essay Scoring (AES). This need can be met by using Automatic Text Summarization (ATS). ATS has a process definition that can be used as a feature engineering model to find important parts of the essay. This research focuses on the development of ATS with clustering model to support the Automated Essay Grading (AEG) process as a form of AES. The research data is in the form of 403 TEACH ON E-learning essays which are represented by a combination of word vectors and readability index. The clustering process is modeled with the implementation of SOM and HDBSCAN, then measured by the silhouette score as the final value of the modeling result. Based on the evaluation carried out, the best clustering model is the model using TextRank essay summary. This shows that the clustering of essays using the ATS implementation, especially in the form of the TextRank method, can have a good effect by forming a better cluster than the clustering process with 2 other forms of data. This study defines Cluster 12 and Cluster 21 as clusters with the best candidate documents based on an analytical approach using a readability index and extraction of common phrases with n-gram = 3.

Kata Kunci : AES, ATS, readability index, unsupervised