Implementasi Sistem Pendeteksi Gestur Tangan dan Senjata (Pisau dan Senjata Api) sebagai Indikator Bahaya secara Real-time Menggunakan YOLO v3

HANA MIA NURPRADITA, Ika Candradewi, S.Si., M.Cs.

2019 | Skripsi | S1 ELEKTRONIKA DAN INSTRUMENTASI

Kamera pengawas dimanfaatkan masyarakat untuk membantu menjaga keamanan fasilitas umum maupun pribadi. Pemanfaatan sistem tersebut pada umumnya masih belum optimal karena hanya bisa dilihat atau dimonitor saja, sedangkan jam kerja operator terbatas. Hal ini menyebabkan adanya peluang terjadi kejahatan atau bahaya dalam jangkauan kamera pengawas yang tidak diketahui petugas. Peningkatkan fungsionalitas kamera pengawas sangat diperlukan, sehingga dapat mencegah jatuhnya korban. Pada penelitian ini, YOLO v3 digunakan untuk melakukan deteksi objek berbahaya dan tidak berbahaya. Jika objek berbahaya terdeteksi, maka alarm dan SMS darurat akan aktif. Objek berbahaya ini meliputi senjata api dan senjata tajam dengan beragam jenis dan ukuran, serta gestur tangan (kedua tangan mengangkat dan terbuka yang menjadi reaksi alamiah jika seseorang terancam senjata). Setelah training dilakukan pada 4997 data, diperoleh mAP sebesar 58,92%. Kemudian, pada saat proses pengujian, sistem alert berjalan secara real-time dengan latency alarm rata-rata 0,97 detik dan latency SMS darurat rata-rata 7,42 detik. Sistem deteksi pun berjalan real-time mencapai 10 FPS dengan latency 2 detik. Pengujian pada 4 kelas mencapai akurasi 73,83% dengan jarak optimal deteksi 1,1-3 meter dan intensitas cahaya optimal pada rentang 151-200 lux. Selain itu, sistem berhasil mendeteksi objek berbahaya dengan Accuracy 80,10%, Precision 91,46%, Recall 66,40%, F1-Score 76,94%, dan Specificity 93,80%.

Surveillance cameras are used to maintain public and private facilities security. Its utilization, in general, is still not optimal enough as it can only be seen or monitored, while operator hours are limited. This causes crime and danger opportunities to occur within camera range that is unnoticed by the officer. Improvements to surveillance camera functionality are needed, so this can prevent casualties. In this study, YOLO v3 is applied to detect harmful objects. If harmful objects detected, it automatically activates emergency alarm and SMS. The harmful objects emphasized in this research are firearms and knives, equipped with a surrender hand gesture (both arms raised and exposed as a natural human reaction when threatened by weapons). Using 4997 data, the training process achieved 58.92% mAP. Then, during its testing process, the alert system runs in real-time with an average alarm latency of 0.97 seconds and an average emergency SMS latency of 7.42 seconds. The detection system also runs real-time up to 10 FPS with 2 seconds latency. Tests on 4 classes gained an accuracy of 73.83% with 1.1-3 meters optimal detection distance and 151-200 lux optimal light intensity. Besides, the system succeeded in detecting harmful objects with an Accuracy value of 80.10%, Precision 91.46%, Recall 66.40%, F1-Score 76.94%, and Specificity 93.80%.

Kata Kunci : kamera pengawas, real-time, deteksi bahaya, mAP, YOLO v3