Peningkatan Kualitas Umpan Balik Pedagogis Large Language Model Berbasis Learning Analytics pada Platform Kanban untuk Mendukung Self-Regulated Learning Mahasiswa

Qornain Aji, Dr. Indriana Hidayah, S.T., M.T.;Syukron Abu Ishaq Alfarozi, S.T., Ph.D.

2026 | Skripsi | TEKNOLOGI INFORMASI

Pendidikan tinggi masa kini menuntut kemandirian belajar mahasiswa, namun kesenjangan keterampilan Self-Regulated Learning (SRL) dan keterbatasan skalabilitas umpan balik personal dari pengajar menjadi hambatan utama. Meskipun teknologi visualisasi seperti papan Kanban telah membantu menstrukturkan proses belajar, pendekatan tersebut masih terbatas pada pemantauan dan belum mampu menyediakan bimbingan pedagogis yang adaptif. Penelitian ini bertujuan untuk mengatasi keterbatasan tersebut dengan meningkatkan kualitas respons Large Language Model (LLM) agar mampu memberikan fungsi umpan balik, motivasi, dan apresiasi yang mendekati kualitas ahli manusia. Peningkatan ini dilakukan melalui pendekatan Context Engineering yang diperkaya oleh Learning Analytics (LA) dengan memanfaatkan data proses dari lingkungan papan Kanban. 

Penelitian ini menggunakan metode eksperimen dengan data sintetis aktivitas mahasiswa pada platform Kanban untuk mata kuliah Pemrograman Berorientasi Objek. Dua model LLM, yaitu Llama 3.1 8B Instant dan Llama 3.3 70B Versatile, diuji menggunakan empat variasi prompt yaitu Baseline, Lis Materi, LA, dan kombinasi ReAct + LA. Kualitas umpan balik dievaluasi secara kuantitatif menggunakan metrik BERTScore, BARTScore, dan LLM-as-a-Judge, serta secara kualitatif melalui validasi ahli psikologi pendidikan. 

Hasil penelitian menunjukkan bahwa integrasi Context Engineering dengan Learning Analytics mampu meningkatkan kualitas umpan balik, namun efektivitasnya bergantung pada ukuran model. Pada model kecil (8B), penggunaan metode kompleks (ReAct+ LA) memberikan peningkatan performa tertinggi secara konsisten. Sebaliknya, model besar (70B) memiliki performa dasar (Baseline) yang lebih superior namun kinerjanya menurun ketika diberikan konteks yang terlalu kompleks, sehingga lebih optimal dengan konteks sederhana. Validasi ahli menyatakan bahwa umpan balik yang dihasilkan model terbaik dapat digunakan dengan revisi minor, terutama terkait penyesuaian tonalitas bahasa dan spesifisitas saran. Penelitian ini menyimpulkan bahwa rekayasa konteks berbasis data analitik merupakan strategi yang efektif dan efisien untuk mendukung SRL mahasiswa.

Contemporary higher education demands student learning independence; however, the gap in Self-Regulated Learning (SRL) skills and the scalability limitations of personal feedback from instructors remain major hurdles. Although visualization technologies like Kanban boards have assisted in structuring the learning process, such approaches are still limited to monitoring and lack the capability to provide adaptive pedagogical guidance. This study aims to overcome these limitations by improving the quality of Large Language Model (LLM) responses to provide feedback, motivation, and appreciation functions that approach the quality of human experts. This improvement is achieved through a Context Engineering approach enriched by Learning Analytics (LA) utilizing process data from the Kanban environment. 

This research employed an experimental method using synthetic student activity data on a Kanban platform for an Object-Oriented Programming course. Two LLM models, Llama 3.1 8B Instant and Llama 3.3 70B Versatile, were tested using four prompt variations: Baseline, Material List, LA, and a combination of ReAct + LA. Feedback quality was evaluated quantitatively using BERTScore, BARTScore, and LLM-as-a-Judge metrics, as well as qualitatively through validation by educational psychology experts. 

The results indicate that integrating Context Engineering with Learning Analytics effectively improves feedback quality, although its effectiveness depends on the model size. For the smaller model (8B), the use of complex methods (ReAct + LA) consistently yielded the highest performance improvements. Conversely, the larger model (70B) demonstrated superior baseline performance but degraded when presented with overly complex contexts, performing optimally with simpler contexts. Expert validation confirmed that the feedback generated by the best-performing model is usable with minor revisions, particularly regarding tonal adjustment and suggestion specificity. This study concludes that analytics-driven context engineering is an effective strategy to support student SRL.

Kata Kunci : Model bahasa besar, self-regulated learning, learning analytics, context engineering, papan Kanban.