Metode Pengukuran Capaian Pembelajaran Mata Kuliah Berbasis Outcome-Based Education dengan Sistem Peringatan Dini Berbasis Machine Learning

Ellysa Tjandra, Prof. Dr. Ir. Ridi Ferdiana, S.T., M.T., IPM.; Ir. Noor Akhmad Setiawan, S.T., M.T., Ph.D., IPM.

2025 | Disertasi | S3 Teknik Elektro

Saat ini paradigma pendidikan di perguruan tinggi telah menggunakan Outcome-Based Education (OBE). Dalam OBE, desain kurikulum dibuat dengan berfokus pada pengukuran capaian pembelajaran peserta didik, sehingga manajemen program studi perlu melakukan upaya monitoring dan evaluasi untuk memastikan bahwa semua capaian yang telah ditetapkan telah terpenuhi. Jika capaian pembelajaran tidak terpenuhi maka harus segera dilakukan upaya preventif, perbaikan, dan peningkatan secara berkesinambungan. Tiap institusi pendidikan memiliki keunikan masing-masing, sehingga membutuhkan metode pengukuran capaian pembelajaran yang dapat diterapkan sesuai kebutuhan. Untuk memastikan capaian pembelajaran sesuai dengan kebutuhan dunia kerja, maka pengukuran capaian harus dilengkapi pemetaan terhadap keahlian (skill). Selain itu, untuk membantu proses monitoring dan evaluasi terhadap capaian pembelajaran di tiap mata kuliah diperlukan learning analytics berupa prediksi capaian pembelajaran berdasarkan nilai tengah semester yang telah diperoleh mahasiswa dengan algoritma Machine Learning (ML). Dengan menyediakan prediksi capaian pembelajaran mata kuliah maka dapat menjadi peringatan dini bagi manajemen program studi dalam upaya preventif untuk mencegah kegagalan capaian pembelajaran di mata kuliah. Penelitian ini menghasilkan metode yang mampu melakukan pengukuran capaian pembelajaran berbasis OBE, yang disebut Course Outcome Attainment Method (COAM), serta dihasilkan pula aplikasi berbasis web untuk menerapkan metode yang dihasilkan. Metode ini terdiri dari langkah-langkah serta formula yang digunakan untuk mengukur capaian pembelajaran mata kuliah yang dilengkapi dengan pemetaan skill mahasiswa sesuai Kerangka Kualifikasi Nasional Indonesia (KKNI) Level 6 serta prediksi capaian pembelajaran mata kuliah.

Metode penelitian yang digunakan adalah kualitatif dan kuantitatif (hybrid). Metode kualitatif dilakukan untuk memastikan metode yang dibuat sesuai dengan kebutuhan dan layak untuk diterapkan, melalui mekanisme wawancara, Focus Group Discussion (FGD) dengan pimpinan perguruan tinggi, demonstrasi sistem terhadap dosen penanggung jawab mata kuliah, pengisian kuesioner aplikasi COAM oleh pengguna, serta expert judgement oleh praktisi OBE. Metode kuantitatif dilakukan untuk memastikan metode yang dihasilkan valid, yaitu dengan uji statistik paired t-test two tail, yang membandingkan nilai capaian pembelajaran hasil COAM terhadap nilai pengukuran non-OBE, sedangkan untuk prediksi capaian pembelajaran dilakukan dengan membandingkan hasil algoritma klasifikasi Decision Tree, Random Forest, Support Vector Machine, K-Nearest Neighbor, dan Naive Bayes yang menggunakan dataset sebanyak 37 mata kuliah di 6 kurikulum program di semester Gasal 2023-2024 dengan total dataset 9085 data.

Hasil uji validitas kuesioner oleh pengguna aplikasi COAM menghasilkan nilai correlation 0,8713 dengan t-hitung 10,2 dan t-tabel 1,692, dan hasil signifikansi valid untuk semua pertanyaan dan hasil pengujian reliabilitas menggunakan Alpha Cronbach dengan nilai 0,9373 yang menyatakan bahwa semua pertanyaan reliabel. Hasil uji statistik paired t-test two tail, menghasilkan nilai signifikansi 0,379 yang artinya tidak ada perbedaan signifikan antara nilai hasil perhitungan COAM dengan nilai hasil pengukuran non-OBE, sehingga disimpulkan bahwa perhitungan COAM selaras dengan nilai NA mahasiswa pada transkrip. Hasil prediksi menggunakan Support Vector Machine merupakan merupakan algoritma ML yang memiliki hasil akurasi terbaik (98,18%) untuk memprediksi level capaian pembelajaran mata kuliah di akhir semester, sehingga dapat diperoleh rekomendasi mahasiswa yang terancam tidak memenuhi capaian di akhir semester, sehingga dapat segera ditindaklanjuti.

Presently, the educational paradigm in higher education uses outcome-based education (OBE). In OBE, curriculum design focuses on measuring student learning outcomes, so the study program management needs to carry out monitoring and evaluation efforts to ensure that all predetermined outcomes have been met. Each educational institution has its uniqueness, requiring an OBE method that can be applied as needed. The results of achievement measurements must be accompanied by mapping of expertise (skills) to ensure that learning outcomes are to the needs of the world of work. In addition, learning analytics is needed in the form of predictions of learning outcomes for courses to assist study programs in monitoring and evaluating learning outcomes in each course. By providing predictions of learning outcomes for courses, higher education institutions need an early warning system to be built to carry out preventive efforts for students who are predicted to fail to achieve learning outcomes in courses. This study produces a method that can measure learning outcomes based on OBE, called the Course Outcome Attainment Method (COAM). This research also builds a web-based application to implement the resulting method. This methods consists of steps and formulas used to measure learning outcomes of courses equipped with mapping of student skills according to the Indonesian National Qualification Framework (KKNI) Level 6 and predictions of learning outcomes of courses.

This study's research methods are qualitative and quantitative, forming a robust hybrid approach. The qualitative method involves a series of comprehensive mechanisms, including interviews, Focus Group Discussions (FGD) with university leaders, system demonstrations with course lecturers, user feedback from the SSAF application questionnaire, and expert judgment by OBE practitioners. The quantitative method is equally thorough, utilizing a paired t-test two-tail statistical test to compare the learning achievement values produced by SSAF against non-OBE measurement values. The prediction of learning outcomes is conducted by comparing the results of various classification algorithms, including Decision Tree, Random Forest, Support Vector Machine, K-Nearest Neighbor, and Naive Bayes, using a dataset of 37 courses in 6 program curricula in the odd semester of 2023-2024, with a total dataset of 9085 records. This comprehensive approach ensures the validity and reliability of the research results, instilling confidence in the audience about the robustness of the study.

The results of the questionnaire validity test by SSAF application users produced a correlation value of 0.8713, which indicates a strong positive relationship between the questionnaire items and the overall construct of the SSAF. The t-count of 10.2 and the t-table of 1.692 shows that the significance results were valid for all questions (Q1), and the results of the reliability test using Alpha Cronbach with a value of 0.9373, which stated that all questions were reliable. The results of the paired t-test two-tail statistical test produced a significance value of 0.379, which means that there is no significant difference between the SSAF calculation results and the non-OBE measurement results, so it is concluded that the total SSAF calculation is in line with the student's NA value used in the transcript value. The prediction results using the Support Vector Machine algorithm with the best accuracy results (98.18%) for predicting the level of learning achievement of courses at the end of the semester so that recommendations can be obtained for students who are at risk of not meeting the achievements at the end of the semester so that they can be followed up immediately.

Kata Kunci : OBE, metode pengukuran, prediksi, machine learning