Identifikasi Keberadaan Fitur dalam Catatan Klinis Tidak Terstruktur Menggunakan BERT

Averina Odelia, Ir. Adhistya Erna Permanasari, S.T., M.T., Ph.D., IPM. ; Dr. Indriana Hidayah, S.T., M.T.

2025 | Skripsi | S1 TEKNIK BIOMEDIS

Penelitian ini mengeksplorasi pengaruh fungsi loss dan performa model BERT dalam mengidentifikasi keberadaan fitur pada catatan klinis. Kami mengevaluasi empat model, yaitu ClinicalBERT, BERT-Base, DistilBERT, dan TinyBERT dengan menggunakan dua jenis fungsi loss, yaitu Cross Entropy dan Focal Loss. Setiap model dilatih dengan strategi tuning hyperparameter yang seragam dan dievaluasi menggunakan metrik F1-score dari tiga kali repeated runs dengan random seed yang berbeda. Hasil penelitian menunjukkan bahwa Focal Loss secara konsisten meningkatkan nilai F1 pada semua model dibandingkan dengan Cross Entropy, dengan peningkatan yang signifikan secara statistik terjadi pada model TinyBERT. Untuk model yang lebih besar seperti BERT-Base dan ClinicalBERT, peningkatan performa juga konsisten namun belum signifikan secara statistik, yang mengindikasikan bahwa parameter Focal Loss (alfa dan gamma) mungkin perlu di-tuning lebih lanjut. Hasil uji ANOVA juga menunjukkan bahwa tuning hyperparameter memberikan pengaruh signifikan terhadap performa BERT-Base dengan Cross Entropy Loss, dan berkontribusi pada peningkatan performa secara keseluruhan. Meskipun fokus utama penelitian ini adalah pada optimasi performa klasifikasi melalui pemilihan fungsi loss dan tuning hyperparameter yang efektif, waktu komputasi juga dianalisis untuk menggambarkan trade-off antara akurasi dan efisiensi. Hasil menunjukkan bahwa model besar seperti ClinicalBERT mencapai nilai F1 tertinggi namun membutuhkan waktu komputasi yang jauh lebih lama. Sebaliknya, model ringan seperti TinyBERT memberikan inferensi yang lebih cepat dengan penurunan performa yang minimal. Di antara semua model yang diuji, DistilBERT dengan Focal Loss menunjukkan trade-off yang paling seimbang, menawarkan F1-score yang kompetitif dengan waktu komputasi yang efisien. Analisis tambahan ini dapat menjadi acuan dalam memilih model sesuai kebutuhan implementasi, khususnya di lingkungan klinis dengan keterbatasan sumber daya.

This study explores the impact of loss functions and BERT model performance for identifying the presence of feature in clinical notes. We evaluate four models which is, ClinicalBERT, BERT Base, DistilBERT, and TinyBERT using two loss functions, Cross Entropy and Focal Loss. Each model was trained with identical hyperparameter tuning strategies and evaluated using F1-score across three repeated runs with different random seeds. The results show that Focal Loss consistently improved F1-scores across all models compared to Cross Entropy, with a statistically significant improvement observed in TinyBERT. For larger models, BERT-Base and ClinicalBERT, the improvements were consistent but not statistically significant, suggesting that further tuning of Focal Loss parameters (alpha and gamma) may be necessary. ANOVA results also indicate that hyperparameter tuning significantly affected the performance of the BERT-Base with Cross Entropy Loss, and contributed to performance boost overall. While the primary focus of this study is on optimizing classification performance through effective loss function selection and hyperparameter tuning, computational time was also analyzed to help illustrate the trade-off between performance and efficiency. The results show that larger models such as ClinicalBERT achieved highest F1-scores but required significantly more computation time, whereas lightweight models, TinyBERT, offered faster inference with a slight drop in performance. Among the evaluated models, DistilBERT with Focal Loss demonstrated the most balanced trade-off, offering competitive F1-scores while maintaining fast inference time. This additional analysis serves as a reference for selecting models based on specific deployment needs, particularly in resource-constrained clinical environments.

Kata Kunci : Natural Language Processing, BERT, Focal Loss, Fine-Tuning, clinical notes