PERSON DETECTION IN LOW-LIGHT CONDITIONS USING ZERO-SHOT METHOD

Muhammad Kimi Patria, Wahyono, S. Kom., Ph.D.

2026 | Skripsi | ILMU KOMPUTER

Penelitian ini bertujuan untuk mengembangkan sistem deteksi manusia yang tangguh dan mampu beroperasi secara efektif dalam kondisi pengawasan dengan pencahayaan rendah menggunakan pendekatan zero-shot learning. Model deteksi objek konvensional mengalami penurunan performa yang signifikan pada malam hari akibat ketidakseimbangan pencahayaan dan noise. Untuk mengatasi hal tersebut, penelitian ini mengadaptasi kerangka kerja Zero-Shot Day-Night Domain Adaptation (ZSDA) dari DAI-Net dengan mengganti backbone VGG16-DSFD asli dengan backbone YOLOv8n yang jauh lebih ringan untuk memungkinkan inferensi secara waktu nyata tanpa praproses peningkatan citra maupun sensor khusus. Data cahaya rendah sintetis dihasilkan dari citra RGB pada kondisi pencahayaan baik menggunakan DarkISP untuk melatih representasi yang invarian terhadap pencahayaan. Model dilatih dan dievaluasi pada Roboflow People Detection Dataset, serta dievaluasi secara tambahan pada benchmark ExDark untuk perbandingan dengan penelitian acuan. Pada test split Roboflow, model yang dimodifikasi mencapai mAP@0,50 sebesar 32,93%, skor F1 terbaik sebesar 0,4199 (presisi 0,3426, recall 0,5422 pada ambang kepercayaan 0,53), dan rata-rata kecepatan inferensi 2,15 FPS dengan multi-scale testing. Pada kelas People dari dataset ExDark, model mencapai AP sebesar 20,9% pada pengujian single-scale zero-shot dengan rata-rata kecepatan inferensi 26,24 FPS. Hasil ini menunjukkan bahwa kerangka adaptasi DAI-Net tetap berfungsi dengan baik ketika dipadukan dengan backbone yang jauh lebih ringan, memberikan trade-off efisiensi-akurasi yang layak untuk implementasi pengawasan dengan sumber daya terbatas.

This research aims to develop a robust person detection system capable of operating effectively in low-light surveillance conditions using a zero-shot learning approach. Conventional object detection models experience severe performance degradation at night due to illumination imbalance and noise. To address this, the proposed system adapts the Zero-Shot Day-Night Domain Adaptation (ZSDA) framework of DAI-Net by replacing its original VGG16-DSFD backbone with the substantially lighter YOLOv8n backbone, enabling real-time inference without preprocessing enhancement or specialised sensors. Synthetic low-light data were generated from well-lit RGB images using DarkISP to train illumination-invariant representations. The model was trained and evaluated on the Roboflow People Detection Dataset, and additionally evaluated on the ExDark benchmark to enable comparison with the reference work. On the Roboflow test split, the modified model achieved a mAP@0.50 of 32.93%, a best F1-score of 0.4199 (precision 0.3426, recall 0.5422 at confidence threshold 0.53), and a mean inference speed of 2.15 FPS under multi-scale testing. On the ExDark People class, the model attained 20.9% AP under single-scale zero-shot testing with a mean throughput of 26.24 FPS. These results demonstrate that the DAI-Net adaptation framework remains functional when paired with a substantially lighter backbone, establishing a viable efficiency-accuracy trade-off for resource-constrained surveillance deployment.

Kata Kunci : Zero-shot learning, Domain adaptation, Person detection, Illumination invariance, YOLOv8n, Synthetic data generation, Low-Light Object Detection.