Model Pengelolaan Pengetahuan Menggunakan Penalaran Berbasis Kasus pada Sistem Penjaminan Mutu Akademik Program Studi

Agus Mulyanto, Prof. Dra. Sri Hartati, M.Sc., Ph.D. ; Prof. Drs. Retantyo Wardoyo, M.Sc., Ph.D.

2024 | Disertasi | S3 Ilmu Komputer

Penjaminan mutu akademik merupakan isu penting di perguruan tinggi. Hal ini untuk memastikan standar pendidikan tinggi tercapai secara sistematis dan berkelanjutan. Berdasar Undang-undang nomor 12 Tahun 2012 tentang Pendidikan Tinggi, bahwa sistem penjaminan mutu eksternal dilakukan melalui akreditasi. Namun, masih banyak program studi yang mutu akademiknya di bawah standar nasional pendidikan tinggi. Sesuai laporan hasil akreditasi Badan Akreditasi Nasional Perguruan Tinggi (BAN-PT) tahun 2021 masih terdapat 35% program studi yang belum terakreditasi dan terakreditasi pada peringkat paling bawah. Dua isu penting ukuran mutu akademik adalah peringkat perguruan tinggi pada level internasional dan peringkat akreditasi program studi pada level nasional. Peneliti sebelumnya telah membahas manfaat akreditasi terhadap mutu program studi, namun belum mengusulkan model untuk membantu pengelola program studi memprediksi nilai butir penilaian akreditasi.

Penelitian ini mengembangkan model pengelolaan pengetahuan akreditasi. Proses akusisi pengetahuan menggunakan ekstraksi fitur dari dokumen akreditasi. Keterbatasan data teks diatasi dengan menggunakan teknik augmentasi. Ekstraksi fitur menggunakan Part of  Speech (POS) tagging dengan Hidden Markov Model (HMM). Kemudian hasil ekstraksi fitur ini direpresentasikan sebagai kasus yang disimpan dalam basis kasus pada sistem case-based reasoning (CBR) untuk memprediksi nilai pada butir penilaian akreditasi.

Pengujian akurasi hasil POS tagging menggunakan k-fold cross validation dengan k=5 dan k=10 pada dataset sebelum augmentasi dan setelah augmentasi mengalami kenaikan sebesar 2%. Sedangkan pengujian model menggunakan confusion matrix dengan membandingkan dataset sebelum augmentasi dan setelah augmentasi. Hasil pengujian dengan empat parameter tanpa augmentasi diperoleh nilai rerata sebagai berikut: akurasi sebesar 0,4444; recall sebesar 0,3299; presisi sebesar 0,3112; dan F1-Score sebesar 0,3099. Sedangkan pengujian dengan augmentasi diperoleh nilai rerata sebagai berikut: akurasi sebesar 0,8242; recall sebesar 0,7402; presisi sebesar 0,7467; dan F1-Score sebesar 0,7441. Hasil ini menunjukan kenaikan nilai rerata pada semua parameter. Pengukuran similaritas kasus pada sistem CBR dengan membandingkan tiga algoritma yaitu Cosine Similarity, Jaccard Similarity, dan Euclidian Similarity. Perhitungan similaritas kasus diimplementasikan pada sembilan elemen penilaian dengan 40 dokumen akreditasi program studi diperoleh hasil tertinggi dengan Cosine Similarity sebesar 0,9705.

Academic quality assurance is an important issue in higher education. This is to ensure that higher education standards are achieved systematically and sustainably. Based on Law Number 12 of 2012 concerning Higher Education, the external quality assurance system is carried out through accreditation. However, there are still many study programs whose academic quality is below national higher education standards. According to the 2021 National Accreditation Board for Higher Education (BAN-PT) accreditation results report, there are still 35% of study programs that have not been accredited and are accredited at the lowest level. Two important issues measuring academic quality are university rankings at the international level and study program accreditation rankings at the national level. Previous researchers have discussed the benefits of accreditation on the quality of study programs but have not proposed a model to help study program managers predict the score of accreditation assessment items.

This research develops an accreditation knowledge management model. The knowledge acquisition process uses feature extraction from accreditation documents. The limitations of text data can be overcome by using augmentation techniques. Feature extraction using Part of Speech (POS) tagging with the Hidden Markov Model (HMM). Then the results of this feature extraction are represented as cases, which are stored in the case base in the case-based reasoning (CBR) system to predict the score of the accreditation assessment items.

Testing the accuracy of POS tagging results using k-fold cross-validation with k = 5 and k = 10 on the dataset before and after augmentation experienced an increase of 2%. Meanwhile, model testing uses a confusion matrix by comparing the dataset before augmentation and after augmentation. The test results with four parameters without augmentation obtained the following average values: accuracy of 0,444; recall of 0,3299; precision of 0,3112; and F1-Score of 0,3099. Meanwhile, testing with augmentation obtained the following average values: accuracy of 0,8242; recall of 0,7402; precision of 0;7467; and F1-Score of 0’7441. These results show an increase in the average value for all parameters. Measuring case similarity in the CBR system involves comparing three algorithms, namely Cosine Similarity, Jaccard Similarity, and Euclidian Similarity. Case similarity calculations were implemented on nine assessment elements with 40 study program accreditation documents, obtaining the highest results with a Cosine Similarity of 0,9705.

Kata Kunci : Mutu Akademik, Akreditasi, Natural Language Processing, POS Tagging, Augmentasi Data, Case-Based Reasoning.