Implementasi AI-Assisted Network Forensics Berbasis Deteksi Multitahap (Autoencoder dan XGBoost) untuk Otomatisasi Deteksi, Klasifikasi, dan Analisis Serangan Jaringan

Timotius Kristafael Harjanto, Dani Adhipta, S.Si., M.T.

2026 | Skripsi | TEKNOLOGI INFORMASI

Infrastruktur jaringan komputer, khususnya di lingkungan kampus, rentan terhadap berbagai ancaman keamanan seperti serangan denial of service, infeksi malware, dan komunikasi backdoor. Proses network forensics yang masih dilakukan secara manual menghadapi kendala berupa volume data yang besar, keterbatasan waktu, dan ketergantungan penuh pada keahlian analis. Tugas akhir ini merancang, mengimplementasikan, dan mengevaluasi sistem AI-assisted network forensics bernama AI-NIDS dengan arsitektur deteksi multitahap. Sistem ini terdiri dari: (1) Autoencoder sebagai pendeteksi anomali one-class semi-supervised (Tahap 1A); (2) Stealthy Classifier berbasis XGBoost untuk menangkap serangan yang menyerupai lalu lintas normal (Tahap 1B); (3) XGBoost multikelas untuk klasifikasi jenis serangan semantik (Tahap 2); dan (4) Rule Engine berbasis 22 aturan domain (D1–D5, A1–A6, B1–B6, W1–W6) sebagai lapisan koreksi pasca-klasifikasi, dilengkapi mekanisme verifikasi manusia (human-in-the-loop), rekaman chain of custody berbasis rantai hash kriptografis untuk akuntabilitas forensik, dan pembangkitan laporan forensik otomatis melalui model bahasa besar (LLM).

Sistem dievaluasi dalam tiga skenario. Pada test set UNSW-NB15 (508.009 aliran berlabel), sistem mencapai F1-score biner 0,9665 dengan recall 99,1%. Pada validasi terhadap sepuluh kasus malware nyata dari malware-traffic-analysis.net, sistem mendeteksi 95,9% IOC IP terverifikasi, dibandingkan 42,9% oleh Security Onion 2.4 pada data yang sama. Pada evaluasi lintas dataset CTU-13 (tiga skenario: Virut, DonBot, dan RBot), sistem mencapai Detection Rate 71,4–95,2% pada lalu lintas dari lingkungan jaringan yang sepenuhnya berbeda dari data pelatihan.

Computer network infrastructure, particularly in campus environments, is vulnerable to various security threats including denial of service attacks, malware infections, and backdoor communications. The current manual approach to network forensics faces challenges related to high data volumes, time constraints, and heavy reliance on analyst expertise. This thesis designs, implements, and evaluates an AI-assisted network forensics system named AI-NIDS with a multi-stage detection architecture. The system comprises: (1) an Autoencoder for one-class semi-supervised anomaly detection (Stage 1A); (2) a Stealthy Classifier based on XGBoost to capture attacks mimicking normal traffic (Stage 1B); (3) a multi-class XGBoost for semantic attack-type classification (Stage 2); and (4) a Rule Engine with 22 domain-knowledge rules (D1–D5, A1–A6, B1–B6, W1–W6) as a post-classification correction layer, supported by a human-in-the-loop verification mechanism, a cryptographic hash-chained chain of custody for forensic accountability, and automated forensic report generation via a large language model (LLM).

The system was evaluated across three scenarios. On the UNSW-NB15 test set (508,009 labeled flows), the system achieved a binary F1-score of 0.9665 with 99.1% recall. On ten real-world malware cases from malware-traffic-analysis.net, the system detected 95.9% of verified IP IOCs, compared to 42.9% by Security Onion 2.4 on identical data. On the cross-dataset CTU-13 evaluation (three scenarios: Virut, DonBot, and RBot), the system achieved a Detection Rate of 71.4–95.2% on traffic from a network environment entirely distinct from the training data.

Kata Kunci : network forensics, sistem deteksi intrusi, autoencoder, XGBoost, deteksi anomali, chain of custody, human-in-the-loop