Studi Perbandingan Performa Model Pencarian Pada Mesin Pencari Akademik (Studi Kasus Sistem Pencarian Tugas Akhir Teknologi Rekayasa Perangkat Lunak Universitas Gadjah Mada)

Hanif Wafi Septyapramudita, Divi Galih Prasetyo Putri, S.Kom., M.Kom., Ph.D.

2025 | Tugas Akhir | D4 Teknologi Perangkat Lunak

Peningkatan digitalisasi di lingkungan akademik menuntut sistem pencarian yang lebih efisien untuk membantu mahasiswa dalam menemukan referensi tugas akhir. Penelitian ini membandingkan performa beberapa model pencarian dalam konteks pencarian tugas akhir pada program studi Teknologi Rekayasa Perangkat Lunak, Universitas Gadjah Mada. Model yang diuji meliputi Best Matching 25 (BM25), Divergence from Randomness (DFR), dan Language Model Jelinek-Mercer yang diimplementasikan menggunakan Elasticsearch. Pengujian dilakukan melalui pengembangan sistem berbasis web yang memungkinkan pengguna untuk melakukan pencarian menggunakan model pencarian yang diujikan. Evaluasi dilakukan menggunakan metrik Mean Average Precision (MAP) untuk mengukur relevansi hasil pencarian serta User Acceptance Testing (UAT) guna menilai kepuasan pengguna terhadap sistem yang dikembangkan. Hasil penelitian menunjukkan bahwa model LM Jelinek-Mercer memberikan performa terbaik dalam konteks pencarian tugas akhir dengan nilai MAP tertinggi sebesar 0.705 dibandingkan dengan model lainnya. Selain itu, hasil UAT menunjukkan bahwa sistem pencarian yang dikembangkan memenuhi kebutuhan pengguna dengan tingkat kepuasan pengguna sebesar 84,34% yang termasuk dalam kategori sangat baik. Penelitian ini diharapkan dapat menjadi dasar dalam pengembangan sistem pencarian akademik yang lebih efisien dan relevan di masa depan.

The digitalization in academic environments demands a more efficient search engine to assist students in finding references for their final projects. This study compares the performance of several search models in the context of final project retrieval within the Software Engineering Technology program at Universitas Gadjah Mada. The evaluated models include Best Matching 25 (BM25), Divergence from Randomness (DFR), and Jelinek-Mercer Language Model (LMJM), implemented using Elasticsearch. Testing was conducted through the development of a web-based system that allows users to perform searches using the evaluated retrieval models. The evaluation was carried out using the Mean Average Precision (MAP) metric to measure search result relevance and User Acceptance Testing (UAT) to assess user satisfaction with the developed system. The results show that the LM Jelinek-Mercer model provides the best performance in final project retrieval, achieving the highest MAP score of 0.705 compared to other models. Additionally, the UAT results indicate that the developed search system meets user needs with a satisfaction level of 84.34%, categorized as very good. This research is expected to serve as a foundation for developing more efficient and relevant academic search systems in the future.

Kata Kunci : Mesin Pencari Akademik, BM25, Divergence from Randomness, Language Model Jelinek-Mercer, Mean Average Precision, Elasticsearch