REAL-TIME PEOPLE COUNTING AND TRACKING SYSTEM USING OMNIDIRECTIONAL CAMERA BASED ON YOLO ALGORITHM

Zikra Fathirizqi Aknes, Dr.techn Aufaclav Zatu Kusuma Frisky, S.Si, M.Sc.; Ika Candradewi, S.Si., M.Cs.

2025 | Skripsi | ELEKTRONIKA DAN INSTRUMENTASI

Sistem penghitungan dan pelacakan orang dapat meningkatkan kinerja bisnis ritel, yang mana kinerjanya dipengaruhi oleh beberapa faktor, termasuk alokasi sumber daya dan penjadwalan staf. Kamera omnidirectional digunakan sebagai sensor untuk sistem ini guna menangani titik buta yang muncul saat menggunakan kamera lensa normal. Kamera omnidirectional memiliki keluaran gambar yang unik di mana lensa cembung menyebabkan gambar menjadi terdistorsi. Untuk mendeteksi orang dari gambar yang terdistorsi, diperlukan pembuatan model pembelajaran mendalam yang dapat membedakan antara orang dan objek lain berdasarkan gambar yang terdistorsi.

Penelitian ini menggunakan algoritma YOLO untuk mendeteksi lokasi orang dengan menggunakan koordinat kotak pembatas sebagai keluaran deteksi. Versi YOLO terbaru, YOLO11, akan digunakan dalam penelitian ini karena ringan dan akurasinya yang tinggi. Model pra-latih YOLO11 akan dilatih menggunakan 740 gambar pelatihan yang diperoleh dari kamera omnidirectional. Algoritma pelacakan centroid akan digunakan dalam penelitian ini untuk melacak pergerakan orang berdasarkan kedekatan centroid mereka di antara bingkai. Program ini akan diunggah ke NVIDIA Jetson Orin Nano sebagai single board computer (SBC) untuk sistem ini, guna menciptakan sistem yang ringkas dan sederhana.

Model YOLO11s yang telah dilatih dapat mencapai average precision (AP) hingga 82% untuk 43 gambar pengujian dengan total 163 orang dalam gambar tersebut. Di sisi lain, pelacak dapat memperoleh nilai multiple object trecking accuracy (MOTA) sebesar 0,943 dan multiple object tracking precision (MOTP) sebesar 0,118. Saat berjalan pada NVIDIA Jetson Orin Nano, sistem dapat mencapai kecepatan bingkai hingga 20 frame per second (FPS).

People counting and tracking system can enhance the performance of a retail business, where the performance is influenced by several factors, including resource allocation and staff scheduling. An omnidirectional camera is used as a sensor for this system to handle blind spots that appears when using a normal lens camera. Omnidirectional camera has a unique image output where the convex lens causing the image to be distorted. To detect person from a distorted image, it is required to create a deep learning model that can differentiate between a person and other objects based on the distorted images.

This research is using YOLO algorithm to detect a person location by using a bounding box coordinate as a detection output. The latest YOLO version, YOLO11, will be used in this research due to its lightweight and high accuracy. YOLO11s pretrained model will be trained using 740 training images obtained from the omnidirectional camera. A centroid tracking algorithm will be used in this research to track the person movement based on the closeness of their centroids between frames. The program will be uploaded into NVIDIA Jetson Orin Nano as a single-board computer (SBC) for this system, to create a compact and simple system.

The trained YOLO11s model can achieve an average precision (AP) up to 82% for 43 testing images with a total of 163 persons in those images. The tracker in the other hand, could obtain the multiple objects tracking accuracy (MOTA) value of 0.943 and multiple object tracking precision (MOTP) of 0.118. When running on NVIDIA Jetson Orin Nano, the system could achieve frame rate up to 20 frame per second (FPS).

Kata Kunci : Omnidirectional Camera, YOLO11, Centroid Tracking, NVIDIA Jetson, People Counting