Otomatisasi Ekstraksi Arsitektur Sistem AI Dari Dokumentasi Teks Menggunakan Large Language Model Berbasis Ontologi BEAM

Kurniawan Dwi Saputra, Dr.techn. Guntur Budi Herwanto, S.Kom., M.Cs.

2026 | Skripsi | ILMU KOMPUTER

Dokumentasi arsitektur sistem kecerdasan buatan (AI) umumnya disusun secara manual sehingga memakan waktu, rentan tidak konsisten, dan representasi visualnya sering tidak memiliki landasan semantik yang dapat diverifikasi oleh mesin. Penelitian ini mengembangkan sebuah pipeline otomatis yang mengekstraksi arsitektur sistem AI dari dokumentasi teks menjadi diagram berformat Mermaid berbasis ontologi BEAM, kemudian mengonversinya ke representasi RDF dan memvalidasi konsistensi semantiknya menggunakan SHACL. Dua model bahasa besar open source, yaitu Gemma 3 4B dan DeepSeek-R1-Distill-Qwen-7B, di-fine-tune menggunakan teknik QLoRA, sedangkan GPT-4o digunakan sebagai baseline melalui prompting few-shot. Sistem dievaluasi pada lima dokumen uji menggunakan metrik kesamaan struktural (level entitas dan relasi), well-formedness, serta validitas ontologis. Hasil evaluasi menunjukkan urutan performa GPT-4o, diikuti DeepSeek-R1, kemudian Gemma 3, dengan F1 entitas tertinggi sebesar 0,607 dan F1 relasi 0,214 yang dicapai oleh GPT-4o. Baseline GPT-4o yang tidak di-fine-tune justru mengungguli kedua model hasil fine-tuning, yang mengindikasikan bahwa pada skala data latih yang kecil, prompting few-shot terhadap model besar lebih kuat daripada fine-tuning model berukuran kecil. Ekstraksi entitas tercapai pada tingkat yang moderat, sedangkan ekstraksi relasi menjadi aspek terlemah. Seluruh representasi RDF lolos validasi SHACL dengan pass rate 100%, yang menegaskan kesahihan ontologis keluaran pipeline. Penelitian ini menyimpulkan bahwa pendekatan yang diusulkan layak digunakan sebagai alat bantu dokumentasi semi-otomatis dengan pengawasan manusia, namun belum memadai untuk otomatisasi penuh.

Documentation of artificial intelligence (AI) system architectures is generally produced manually, making it time consuming, prone to inconsistency, and often lacking a machine verifiable semantic basis in its visual representations. This study develops an automated pipeline that extracts AI system architectures from text documentation into Mermaid diagrams grounded in the BEAM ontology, converts them into RDF representations, and validates their semantic consistency using SHACL. Two open-source large language models, Gemma 3 4B and DeepSeek-R1-DistillQwen-7B, were fine-tuned using QLoRA, while GPT-4o served as a baseline through few-shot prompting. The system was evaluated on five test documents using structural similarity metrics (at the entity and relation levels), well-formedness, and ontological validity. The results show a performance ordering of GPT-4o, followed by DeepSeekR1, and then Gemma 3, with the highest entity F1 of 0.607 and relation F1 of 0.214 achieved by GPT-4o. The GPT-4o baseline without fine-tuning outperformed both fine-tuned models, indicating that at a small training data scale, few-shot prompting of a large model is stronger than fine-tuning a small one. Entity extraction reached a moderate level, whereas relation extraction remained the weakest aspect. All RDF representations passed SHACL validation with a 100% pass rate, confirming the ontological soundness of the pipeline output. This study concludes that the proposed approach is viable as a semi-automatic, but is not yet adequate for full automation.

Kata Kunci : ekstraksi arsitektur sistem AI, large language model, finetuning, ontologi BEAM, SHACL, Mermaid