Pengukuran Kualitas Publikasi Ilmiah dengan Pendekatan FWCI Menggunakan GROBID

Muhammad Azka Adhisetama, Dr. Indah Soesanti, S.T., M.T.;Dr.Eng. Ir. Sunu Wibirama, S.T., M.Eng., IPM.

2025 | Skripsi | TEKNOLOGI INFORMASI

Publikasi ilmiah merupakan salah satu indikator penting dalam menilai kemajuan riset dan inovasi suatu negara. Namun, meskipun jumlah publikasi ilmiah dari Indonesia yang terindeks di GARUDA dan SINTA terus meningkat, hingga saat ini belum ada implementasi menyeluruh untuk pengukuran kualitas publikasi ilmiah tersebut. Metrik sitasi konvensional seperti jumlah sitasi dan h-index dinilai belum cukup adil karena tidak mempertimbangkan perbedaan karakteristik antar bidang ilmu dan waktu terbit. Untuk itu, penelitian ini mengembangkan sistem pengukuran kualitas publikasi ilmiah berbasis Field-Weighted Citation Impact (FWCI), sebuah metrik oleh Elsevier yang ternormalisasi antar topik dan tahun terbit dari publikasi ilmiah. Metrik tersebut digunakan oleh pengindeks global seperti Scopus dan Scival.

Penelitian ini mencakup proses ekstraksi metadata publikasi ilmiah dari file PDF menggunakan GROBID, transformasi dan penyimpanan data ke dalam basis data relasional, klasifikasi topik publikasi dengan pendekatan zero-shot text classification menggunakan model Bidirectional and Auto-Regressive Transformers yang telah dilatih dengan dataset Multi-genre Natural Language Inference (BART-Large-MNLI), serta perhitungan FWCIberdasarkan metode dari Elsevier. Pengujian dilakukan terhadap 23.610 publikasi dari 17 jurnal Indonesia yang terindeks GARUDA, serta 247 publikasi validasi yang juga terindeks Scopus. Hasil menunjukkan bahwa sistem mampu menghitung FWCI secara mandiri dan memberikan hasil yang representatif. Nilai FWCI berhasil menggambarkan kualitas publikasi secara relatif dan adil antar bidang ilmu. Penelitian ini diharapkan dapat menjadi landasan awal bagi pengembangan sistem pengindeks nasional yang mampu mengukur kualitas publikasi ilmiah tanpa ketergantungan terhadap indeks global.

Scientific publications are one of the key indicators in assessing a country’s progress in research and innovation. Although the number of scientific publications from Indonesia indexed in GARUDA and SINTA continues to rise, there has not yet been a comprehensive implementation to measure the quality of these publications. Conventional citation metrics such as citation count and h-index are considered insufficiently fair, as they do not account for differences in disciplinary characteristics and publication year. Therefore, this study develops a system for measuring the quality of scientific publications based on the Field-Weighted Citation Impact (FWCI), a metric by Elsevier that is normalized across subject fields and publication years and is widely used by global indexers such as Scopus and SciVal. 

This research encompasses the extraction of scientific publication metadata from PDFfiles using GROBID, transformation and storage of the data in a relational database, topic classification using a zero-shot text classification approach with a Bidirectional and Auto-Regressive Transformers model trained on the Multi-Genre Natural Language Inference (MNLI) dataset (BART-Large-MNLI), and the calculation of FWCI based on Elsevier’s methodology. The system was tested on 23.610 publications from 17 Indonesian journals indexed in GARUDA, as well as 247 validation publications also indexed in Scopus. The results show that the system is capable of independently calculating FWCI and producing representative outcomes. The FWCI values successfully reflect the relative and fair quality of publications across different subject areas. This study is expected to serve as a foundation for the development of a national indexing system capable of assessing the quality of scientific publications without reliance on global indexes.

Kata Kunci : bibliometrik, FWCI, GROBID, publikasi ilmiah, sistem basis data