RE-IDENTIFIKASI ORANG PADA SISTEM PEMANTAUAN KELUAR-MASUK KAMERA PENGAWAS TUNGGAL

Muhammad Nur Ilmi, Prof. Drs. Agus Harjoko, M.Sc., Ph.D; Ika Candradewi, S.Si., M.Cs.

2023 | Skripsi | ELEKTRONIKA DAN INSTRUMENTASI

Sistem pemantauan keluar-masuk orang merupakan isu bagian dari intelligent monitoring surveillance system. Isu ini bertujuan untuk memantau aktivitas keluar-masuk orang pada suatu tempat dengan instalasi kamera pengawas yang mencakup area luas. Isu ini dapat diterapkan baik pada tempat publik maupun tempat privat (seperti di luar area toilet, ruang ganti, maupun tempat menyusui bayi).

Penelitian ini menyajikan pengembangan dan evaluasi sistem pemantauan keluar-masuk orang dengan kamera tunggal yang dilengkapi dengan person re-identification untuk menjaga identitas saat orang keluar dan masuk suatu area. Sistem ini menggunakan pipeline yang komprehensif, yaitu YOLOv7 (original dan tiny), ByteTrack, dan OSNet-x1 sebagai person detector, tracker, dan re-identifier.

Komponen entry-exit event detection menggunakan YOLOv7+ByteTrack mencapai akurasi tertinggi menghasilkan nilai 1 baik untuk entry event maupun exit event. Sebaliknya, sistem YOLOv7-tiny+ByteTrack menunjukkan kinerja sedikit lebih rendah pada entry event accuracy dengan nilai 0,975.

Kinerja person re-identification OSNet terbaik diperoleh saat menggunakan YOLOv7+ByteTrack dengan nilai f1-score sebesar 0,864 dan akurasi sebesar 0,826, sementara saat menggunakan YOLOv7-tiny+ByteTrack sistem menunjukkan kinerja yang lebih rendah, yaitu 0,826 dan 0,780, secara berturut-turut. Evaluasi FPS pada Google Colab dan Nvidia Jetson Xavier AGX memberikan rerata FPS tertinggi, yaitu 26,7 FPS dan 13 FPS saat menggunakan YOLOv7-tiny+ByteTrack+OSNet-x1. Sedangkan, performa menurun saat menggunakan YOLOv7+ByteTrack+OSNet-x1 dengan besar rerata FPS 21,8 FPS dan 10,6 FPS.

Entry-Exit Monitoring System is a part of intelligent surveillance systems. This issue aims to monitor persons' activity using wide-ranging surveillance cameras in both public and private spaces, such as restrooms, changing rooms, and baby care areas.

This research presents the development and evaluation of a single-camera entry-exit monitoring system equipped with person re-identification to maintain a consistent identity while people going in and out of an area. The system employs, comprehensive pipeline, including YOLOv7 (original and tiny versions), ByteTrack, and OSNet-x1 as the person detector, tracker, and re-identifier.

The entry-exit event detection component using the YOLOv7+ByteTrack achieved the highest accuracy, producing a value of 1 for both entry and exit event detection. Conversely, the YOLOv7-tiny+ByteTrack system showed slightly lower performance with an entry event detection score of 0,975.

The best person re-identification performance was observed with YOLOv7+ByteTrack+OSNet-x1, achieving an f1-score of 0,864 and accuracy of 0,826, whereas YOLOv7-tiny+ByteTrack+OSNet-x1 exhibited reduced values of 0,826 and 0,780, respectively. FPS evaluation results on Google Colab and Nvidia Jetson Xavier AGX show that the tiny model YOLOv7+ByteTrack+OSNet-x1 achieved the highest average FPS, with 26,7 FPS on Google Colab and 13 FPS on Nvidia Jetson Xavier AGX. In contrast, when using the YOLOv7+ByteTrack+OSNet-x1 model, performance was slightly lower, with average FPS of 21,8 FPS and 10,6 FPS on the respective platforms.

Kata Kunci : Sistem pemantauan keluar-masuk orang, Kamera pengawas tunggal, Intelligent surveillance system, YOLOv7, ByteTrack, OSNet-x1