PENGEMBANGAN SISTEM AUTOMATIC SCORING UNTUK MENILAI TES URAIAN SINGKAT PADA E-LEARNING DENGAN METODE COSINE SIMILARITY, TERM FREQUENCY-INVERSE DOCUMENT FREQUENCY DAN PENCOCOKAN KATA (STUDI KASUS MATA KULIAH ALGORITME DAN STRUKTUR DATA)

EKO WAHYU NUGROHO, Silmi Fauziati, Dr.Eng., S.T., M.T. ; Adhistya Erna Permanasari, S.T., M.T., Ph.D.

2019 | Skripsi | S1 TEKNOLOGI INFORMASI

Teknologi yang semakin berkembang memudahkan mahasiswa dalam mencari sumber materi untuk belajar tanpa mengeluarkan biaya dan usaha yang terlalu besar. Salah satu pendekatan teknologi pada dunia pendidikan adalah e-Learning. E-Learning yang dibuat saat ini tidak hanya sebagai sarana dalam mendistribusikan materi saja, namun juga sebagai tempat untuk melakukan evaluasi terhadap proses belajar maupun hasil belajar dari mahasiswa. Pada e-Learning untuk mata kuliah Algoritme dan Struktur Data yang ada saat ini, tes yang dilakukan dengan menggunakan pilihan ganda dan belum menggunakan tes uraian singkat. Tes dengan uraian singkat mampu mengukur aspek kognitif lebih tinggi, menghindari sifat terkaan dalam menjawab pertanyaan dan mampu memberikan gambaran materi mana yang belum dikuasai oleh mahasiswa. Pengembangan automatic scoring digunakan pada e-Learning mata kuliah Algoritme dan Struktur Data. Proses pengembangan menggunakan bahan jawaban dari mahasiswa dan kunci jawaban yang dibuat dosen. Dari kedua bahan atau teks tersebut akan dilakukan penilaian dengan menggunakan metode Cosine Similarity dan pencocokan kata kunci. Dalam metode Cosine Similarity baik jawaban dan kunci jawaban melalui proses yang sama, yakni dimulai dari text preprocessing untuk mengurangi keberagaman data, Term Frequency-Inverse Document Frequency untuk memberikan nilai bobot pada tiap kata, nilai bobot dari tiap kata ini yang kemudian digunakan untuk penghitungan pada metode Cosine Similarity. Pencocokan kata, dilakukan dengan melakukan ekstraksi pada jawaban mahasiswa dan kunci jawaban dari dosen, kemudian akan dicari kata yang muncul pada kedua teks tersebut. Jumlah kata yang muncul pada kedua teks akan digunkan untuk menghitung tingkat kemiripan teks. Nilai akhir adalah dengan mencari rata-rata dari kedua nilai yang diperoleh. Hasil dari pengembangan adalah sebuah sistem e-Learning yang dapat menilai jawaban uraian singkat berdasarkan kunci jawaban yang diberikan oleh dosen. Pengujian fungsionalitas dengan metode black box testing menunjukkan semua poin-poin pengujian berhasil dilakukan. Pengujian kebergunaan menggunakan survey User Acceptance Test (UAT) dengan responden mahasiswa DTETI yang sudah mengambil mata kuliah Algoritme dan Struktur Data. Hasil penerimaan sistem oleh user yang bernilai baik. Nilai Mean Absolute Error yaitu 0,99 yang berarti penilaian dari sistem tidak jauh berbeda dengan nilai yang diberikan dosen. Sistem automatic scoring belum mampu menilai sebuah jawaban secara kalimat utuh, proses penilaian yang dilakukan adalah menilai kemiripan berdasarkan tiap kata yang ada pada jawaban.

Fast growing technology nowadays facilitates students in searching learning sources material without spending too much costs and efforts. One of the technological approaches in educational system is e-Learning. E-Learning made at this present day is not just a platform to distribute learning sources, but also as a platform to evaluate the learning process and result of a student. In existing e-Learning available during Algorithm and Data Structure class, the test is conducted by using multiple choices and not yet using short essay test. Short essay test is able to measure higher cognitive aspect, avoiding guess-work while answering questions, and able to differ which learning material that the students have not understood yet. Automatic scoring development is used on e-Learning in Algorithm and Data Structure class. The development process uses answer material from the student and answer key from the teacher. The scoring will be conducted from both materials and texts using Cosine Similarity method and matching the answer key. Both the answer and the answer key are going through the same process in Cosine Similarity method, starting from text pre-processing to detract variety of data, Term Frequency-Inverse Document Frequency to give weight value to each word, and later, this is used in the Cosine Similarity method calculation. Keyword matching is done by doing extraction to the student's answer and the teacher's answer key, then searching for appeared words from both texts. The number of words appeared from both texts will be used to calculate text similarity level. The final score of this is to search the average score of both obtained values. The result of this development is an e-Learning system which able to evaluate short essay answer based on teacher's answer key. Functionality test by using black box testing method showed all points of the test were successfully done. Usability test by using User Acceptance Test (UAT) survey and took respondents from Electrical and Information Technology Engineering Department (DTETI) students who already attended Algorithm and Data Structure class. The system acceptance result is scored well by the user. Mean Absolute Error score is 0.99, which means that scoring from the system is not much different from the scoring given from the teacher. Automatic scoring system is yet unable to score an answer as a whole sentence; the scoring of this system is to see similarity based on each word on the answers.

Kata Kunci : Automatic Scoring, Term Frequency - Inverse Document Frequency, Cosine Similarity, Text Preprocessing, E-Learning