PENGGUNAAN LARGE LANGUAGE MODELS (LLMS) UNTUK MENDUKUNG PEMETAAN CATATAN MEDIS PASIEN BERBASIS TEKS BAHASA INDONESIA KE KODE SNOMED CT

PUTU GEDE PURWA DARMAWAN, dr. Dian Kesumapramudya Nurputra, M.Sc, Ph.D, SpA; Annisa Ristya Rahmanti, S.Gz, Dietsien, MS.,Ph.D

2026 | Tesis | MAGISTER KEBIJAKAN DAN MANAJEMEN KESEHATAN

Latar Belakang: Implementasi platform SATUSEHAT mewajibkan seluruh fasilitas kesehatan di Indonesia menggunakan terminologi klinis SNOMED CT sebagai standar interoperabilitas data. Namun, sekitar 80?ta rekam medis masih berbentuk narasi teks bebas berbahasa Indonesia yang tidak terstruktur, sehingga proses pemetaan ke kode SNOMED CT secara manual menjadi tidak efisien, padat sumber daya, dan rentan terhadap inkonsistensi. Hingga saat ini, belum terdapat studi yang secara sistematis mengevaluasi kemampuan Large Language Models (LLMs) untuk tugas tersebut dalam konteks bahasa Indonesia, sehingga menjadi kesenjangan penelitian yang mendesak untuk diatasi.

Metode: Penelitian Research and Development (R&D) menggunakan model ADDIE yang difokuskan pada tahap Analysis, Design, Development, dan Evaluation ini mengevaluasi empat model LLM yaitu Gemini 3 Flash, GPT-4o-mini, LLaMA 3.1 8B, dan Gemma 3 4B dalam tugas konversi narasi anamnesis rawat jalan pediatrik tidak terstruktur berbahasa Indonesia menjadi kode SNOMED CT. Dataset terdiri dari 395 catatan rekam medis anonim dari tiga unit RS Surya Husadha, Bali, yang diproses menggunakan teknik few-shot prompt engineering. Gold standard ditetapkan melalui anotasi ganda independen oleh dua pakar klinis terhadap 1.207 entitas klinis, dengan nilai Cohen’s Kappa (0,877) yang menunjukkan tingkat kesepakatan hampir sempurna. Evaluasi dilakukan menggunakan kerangka Information Retrieval dua tingkat: Level 1 (Relaxed) untuk menilai ketepatan ekstraksi kode, dan Level 2 (Strict Tuple) untuk menilai kesesuaian kode beserta konteks klinis (present/absent) menggunakan pendekatan double penalty terhadap setiap context mismatch.

Hasil: Gemini 3 Flash menunjukkan performa terbaik secara keseluruhan dengan F1-Score Level 1 sebesar 85,36?n Level 2 sebesar 84,08%, disertai penurunan performa terkecil (deltaF1 = 1,28%) serta hanya 16 kasus context mismatch dari 395 pasien, yang mengindikasikan konsistensi pemahaman konteks klinis tertinggi. GPT-4o-mini mencatatkan precision Level 1 tertinggi (84,22%) dengan F1 Level 2 sebesar 79,49?n 48 kasus context mismatch, menjadikannya pilihan optimal untuk meminimalkan false positive pada konteks klaim pembiayaan. Model open-source LLaMA 3.1 8B dan Gemma 3 4B menunjukkan performa lebih rendah dengan F1-Score Level 2 masing-masing sebesar 60,71?n 61,53%. Gemma 3 4B mengalami degradasi performa terbesar (deltaF1 = 14,67%) akibat 181 kasus context mismatch, di mana 81% di antaranya merupakan kesalahan prediksi konsep absent menjadi present, yang berisiko tinggi secara klinis. Evaluasi dua tingkat menunjukkan bahwa penilaian Level 1 saja menghasilkan estimasi performa yang overconfident dengan selisih hingga 14,67 poin persentase. Uji Cochran's Q (Q=162,750, p<0>context mismatch antar seluruh pasangan model signifikan secara statistik (seluruh p<0>

Kesimpulan: Sistem berbasis LLMs berhasil mendemonstrasikan kelayakan sebagai proof of concept untuk mengotomasi pemetaan SNOMED CT dari narasi klinis berbahasa Indonesia. Gemini 3 Flash merupakan model dengan performa klinis terbaik, sementara GPT-4o-mini lebih optimal dalam konteks yang membutuhkan presisi tinggi seperti klaim pembiayaan. Model open-source menunjukkan potensi sebagai solusi on-premise yang lebih aman dari sisi privasi, namun masih memerlukan fine-tuning intensif, khususnya dalam menangani negasi klinis dalam bahasa Indonesia. Mengingat masih ditemukannya context mismatch bahkan pada model terbaik, pendekatan Human-in-the-Loop (HITL) dengan LLM sebagai asisten pengkode dan verifikasi oleh tenaga perekam medis tetap menjadi strategi implementasi paling aman untuk mendukung transformasi digital kesehatan nasional melalui platform SATUSEHAT. Sistem ini secara eksplisit tidak dirancang sebagai automated coder mandiri, melainkan sebagai decision support tool dalam alur kerja yang senantiasa melibatkan verifikasi manusia sebelum kode SNOMED CT disimpan ke dalam rekam medis elektronik.

Background: The implementation of the SATUSEHAT platform mandates all healthcare facilities in Indonesia to adopt SNOMED CT as the standard clinical terminology for data interoperability. However, approximately 80% of electronic medical record (EMR) data remains in the form of unstructured free-text narratives in Bahasa Indonesia, making manual mapping to SNOMED CT inefficient, resource-intensive, and prone to inconsistency. To date, there is a lack of systematic evaluation of Large Language Models (LLMs) for this task in the Indonesian clinical context, representing a critical research gap.

Methods: This Research and Development (R&D) study employing the ADDIE model focused on the Analysis, Design, Development, and Evaluation phases evaluated four LLMs namely Gemini 3 Flash, GPT-4o-mini, LLaMA 3.1 8B, and Gemma 3 4B for converting unstructured Indonesian pediatric outpatient anamnesis into SNOMED CT codes. The dataset comprised 395 anonymized clinical notes from three units of Surya Husadha Hospital, Bali, processed using a few-shot prompt engineering approach. The gold standard was established through independent dual annotation by two clinical experts across 1,207 clinical entities, achieving a Cohen’s Kappa (0.877), indicating almost perfect agreement. Evaluation followed a two-level Information Retrieval framework: Level 1 (Relaxed), assessing code extraction accuracy, and Level 2 (Strict Tuple), assessing both code and clinical context (present/absent) using a double penalty mechanism for context mismatch.

Results: Gemini 3 Flash achieved the best overall performance with an F1-score of 85.36% (Level 1) and 84.08% (Level 2), exhibiting the smallest performance degradation (deltaF1 = 1.28%) and only 16 context mismatch cases across 395 patients, indicating superior contextual understanding. GPT-4o-mini achieved the highest Level 1 precision (84.22%) with a Level 2 F1-score of 79.49% and 48 context mismatches, making it optimal for minimizing false positives in reimbursement contexts. The open-source models LLaMA 3.1 8B and Gemma 3 4B demonstrated lower performance, with Level 2 F1-scores of 60.71% and 61.53%, respectively. Gemma 3 4B showed the largest degradation (deltaF1 = 14.67%) due to 181 context mismatch cases, 81% of which involved predicting absent concepts as present, representing the highest clinical risk. The two-level evaluation revealed that Level 1 alone yields an overconfident performance estimate, with discrepancies of up to 14.67 percentage points. Cochran's Q test (Q=162.750, p<0>

Conclusion: LLM-based systems demonstrated feasibility as a proof of concept for automating SNOMED CT mapping from Indonesian clinical narratives. Gemini 3 Flash demonstrated the best clinical performance, while GPT-4o-mini is preferable in high-precision use cases such as reimbursement. Open-source models show promise for privacy-preserving on-premise deployment but require substantial fine-tuning, particularly for handling clinical negation in Bahasa Indonesia. Given the persistence of context mismatches even in top-performing models, a Human-in-the-Loop (HITL) approach where LLMs assist coding and trained medical coders perform validation remains the safest implementation strategy to support Indonesia’s national digital health transformation through SATUSEHAT. This system is explicitly not intended as a standalone automated coder, but as a decision support tool within a workflow that requires human verification prior to finalizing SNOMED CT codes in the electronic medical record.

Kata Kunci : LLMs, SNOMED CT, Terminology Mapping, Bahasa Indonesia, SATUSEHAT