EDUCATIONAL FEEDBACK SYSTEM FRAMEWORK DENGAN ANALISIS SENTIMEN DAN METODE STATISTIK

SOFHIAN FN, Adhistya Erna Permanasari, S.T., M.T., Ph.D.;Dr. Sri Suning Kusumawardani, S.T., M.T.

2018 | Tesis | MAGISTER TEKNOLOGI INFORMASI

Educational feedback digunakan untuk mengukur kualitas penyelenggaraan pendidikan, umumnya dalam aspek tenaga pengajar. Feedback didapat dari peserta didik menggunakan instrumen dan suatu sistem. Instrumen yang paling umum adalah angket uraian yang menghasilkan data kualitatif dan angket penilaian sikap yang menghasilkan data kuantitatif. Terkadang angket diisi sembarangan oleh responden, terindikasi dari adanya uraian yang sama terhadap beberapa pengajar. Data kualitatif diproses menggunakan analisis sentimen, sedangkan data kuantitatif menggunakan metode statistik. Hasil kedua proses tersebut idealnya konsisten dan memiliki hubungan, sehingga diperlukan adanya evaluasi terhadap akurasi analisis sentimen dan analisis korelasi. Penelitian ini membuat Educational Feedback System Framework untuk memproses data feedback. Data diperoleh dari evaluasi mahasiswa terhadap dosen di STKIP Muhammadiyah Kuningan. Data kualitatif diproses dengan analisis sentimen menggunakan algoritma Support Vector Machine (SVM), tetapi terlebih dahulu dilakukan similarity removal pada tahap preprocessing untuk menghapus uraian yang dibuat sembarangan oleh mahasiswa, sedangkan data kuantitatif diproses dengan metode statistik. Output analisis sentimen adalah sentiment score dan output metode statistik adalah performance score. Score keduanya untuk setiap dosen dikorelasikan sehingga terukur apakah terdapat hubungan atau tidak. Hasil preprocessing mampu mendeteksi dan mengeliminasi uraian yang dibuat sembarangan oleh mahasiswa. Dari 22.476 uraian yang ada, sebanyak 11.538 uraian dideteksi lalu dieliminasi, sehingga yang digunakan untuk labeling menjadi 10.938 uraian. Analisis sentimen dengan preprocessing dan model SVM yang dibuat menghasilkan akurasi sebesar 66%. Kemudian terdapat korelasi yang kuat di antara sentiment score dengan performance score dengan koefisien sebesar 0,73 yang artinya hasil kedua angket konsisten dan analisis sentimen berhasil.

Education feedback used to measure quality of education process, generally in the teacher aspect. Feedback obtained from students using instruments and systems. The most common instruments are essay questionnaire that produce qualitative data and performance assessment questionnaires that produce quantitative data. Sometimes questionnaires made carelessly by respondents, indicated by same essay for some teachers. Qualitative data processed by sentiment analysis, while quantitative data using statistics. The results of both processes are ideally consistent and there is a relationship, so need to evaluate accuracy of sentiment analysis and correlation analysis. This study develop an Educational Feedback System Framework for processing feedback data. Data obtained from evaluation of students on lecturers at STKIP Muhammadiyah Kuningan. Qualitative data processed by sentiment analysis using Support Vector Machine (SVM) algorithm, but first performed similarity removal at preprocessing stage for eliminating essay that made carelessly by student, while quantitative data by statistical method. Output of sentiment analysis is sentiment score and output of statistical method is performance score. Each score for each lecturer performed correlation analysis for see whether there is correlated or not. The result, preprocessing is able to detect and eliminate essay that made careless by students. Of 22,476 existing essay, 11,538 essay were eliminated, so for labeling only 10,938 essay. Sentiment analysis with preprocessing and SVM model able to produce 66% accuracy. Then there is a strong correlation between sentiment score and performance score with coefficient of 0.73, which means the results of both questionnaires are consistent and sentiment analysis succeeds.

Kata Kunci : educational feedback, similarity removal, analisis sentimen, support vector machine