APLIKASI INTELLIGENT SURVEILLANCE SYSTEM BERBASIS WEB DENGAN ARSITEKTUR RT-DETR TERMODIFIKASI

KEVIN AGUSTO SASTRAMIHARJA, Dr.Eng. Ganjar Alfian, S.T., M.Eng.

2024 | Tugas Akhir | D4 Teknologi Perangkat Lunak

Kasus penyusupan properti masih menjadi masalah global, termasuk di Indonesia, dengan motif seperti pencurian. CCTV yang dipantau secara langsung oleh manusia merupakan salah satu cara untuk mencegah penyusupan, namun terdapat beberapa keterbatasan pada kemampuan manusia dan diperburuk dengan faktor-faktor lain seperti jumlah area yang harus dipantau. Kemajuan teknologi informasi pada bidang machine learning (ML), menawarkan solusi yang menjanjikan untuk mengatasi keterbatasan sistem keamanan konvensional. Object detection, salah satu metode ML yang potensial, memungkinkan identifikasi dan pelacakan objek secara real-time melalui kamera CCTV. Tingkat akurasi dari model ML merupakan salah satu variabel yang menentukan tingkat keandalan atau kepercayaan manusia pada ML. Penelitian ini mengusulkan model gabungan inovatif yang menggabungkan arsitektur berbasis transformer (RT-DETR) dan CNN (YOLOv9) untuk meningkatkan akurasi deteksi penyusupan. Model tersebut dilatih menggunakan dataset COCO 2017 yang telah dipotong. Hasil eksperimen menunjukkan bahwa model gabungan RT-DETR YOLOv9 mencapai mAP 0.502, melampaui RT-DETR tunggal yang mencapai 0.433. Model yang telah dilatih kemudian diimplementasikan pada sebuah aplikasi berbasis web. Selain penentuan zona pengawasan yang dapat disesuaikan, aplikasi ini dilengkapi pengaturan lain untuk meminimalkan alarm palsu, memastikan keamanan yang lebih andal dan efisien.  Aplikasi yang dikembangkan mencapai skor UAT 77%  pada skala likert.

Property intrusion remains a global concern, including in Indonesia, often driven by motives such as theft. While human-monitored CCTV systems are commonly employed for prevention, they are inherently limited by human capabilities and challenged by factors such as the increasing number of areas requiring surveillance. Advancements in machine learning (ML) offer promising solutions to overcome the limitations of conventional security systems. Object detection, a potent ML method, enables real-time identification and tracking of objects through CCTV cameras. The accuracy of ML models plays a crucial role in determining human reliance and trust in these systems. This research proposes an innovative combined model integrating transformer-based (RT-DETR) and CNN-based (YOLOv9) architectures to enhance the accuracy of intrusion detection. The model was trained using a cropped version of the COCO 2017 dataset. Experimental results demonstrate that the combined RT-DETR YOLOv9 model achieved an mAP of 0.502, surpassing the standalone RT-DETR's performance of 0.433. The model that has been trained then implemented in a web based application. In addition to customizable surveillance zone definition, the application incorporates features to minimize false alarms, ensuring a more reliable and efficient security solution. The developed application achieved 77% UAT score on likert scala

Kata Kunci : object detection, machine learning, RT-DETR, YOLO, aplikasi web