Pengembangan Sistem Deteksi Objek Berbasis Deep-Learning Menggunakan YOLO untuk Indikator Otomatisasi pada Smart Building

ADAM RIONALDO RAMADHAN CAHYONO, I Wayan Mustika, S.T., M.Eng., Ph.D; Igi Ardiyanto, Dr.Eng., S.T., M.Eng.

2021 | Skripsi | S1 TEKNIK ELEKTRO

mart building memiliki tujuan berkaitan dengan efisiensi sumber daya dengan penerapan otomatisasi dan komunikasi data antar perangkat. Meningkatnya kemampuan komputasi hardware memungkinkan otomatisasi perangkat dijalankan menggunakan algoritma deep learning. Teknik deep learning yang dipilih adalah object detection yang diterapkan pada perangkat kamera (CCTV). Saat ini CCTV umum digunakan sebagai pemantau keamanan ruangan. Sehingga sistem yang dikembangkan akan menambah fitur CCTV untuk mendeteksi keberadaan objek manusia (person detection) di suatu ruangan yang dijadikan indikator kondisi (on/off) alat elektronik. Selain itu juga dikembangkan web app untuk menjalankan fungsi kontrol, monitoring dan penyajian data penting. Algoritma deteksi objek yang digunakan adalah YOLO (You Only Look Once) versi 4 Tiny (YOLOv4-Tiny) yang dijalankan pada komputer NVIDIA Jetson Nano. Algoritma deteksi objek dikombinasikan dengan tracker, counter dan ROI filtering. Framework deteksi objek menggunakan Deepstream SDK. Desain Deepstream menggunakan plugin untuk memproses multiple input RTSP, inferensi, tracker, counter dan analisis ROI yang direalisasikan sebagai pipeline. Keluaran pipeline yang dihasilkan berupa link RTSP yang menampilkan kondisi ruangan beserta informasi bounding box dan nilai topik MQTT yang akan diakses oleh perangkat IoT. Implementasi sistem menunjukkan bahwa FPS yang dihasilkan oleh model YOLOv4-Tiny adalah 9.3 – 10.7 fps ketika menggunakan 2 sumber RTSP dengan resolusi maksimal 640 x 480. Latensi antara kondisi real dengan tampilan hasil RTSP berkisar 3 - 6 detik. Secara kualitatif, rancangan sistem mampu digunakan pada kondisi terang, cahaya redup dan gelap.

One of smart building development goals is to improve resource efficiency using several automation processes. The rapid growth of intelligent computing capability on edge devices enable automation to run using deep learning algorithm. Project applied deep learning-based object detection on security camera (CCTV). CCTV was developed to detect the presence of person as on/off indicator. The object detection method is YOLO (You Only Look Once) v4 Tiny (YOLOv4-Tiny) that run on NVIDIA Jetson Nano board computer. Object detection combined with tracker, counter and ROI filtering using Deepstream SDK. Deepstream design by arrange plugins to process multiple input RTSP, inference and other analysis as one workflow named pipeline. Pipeline produces object detection result as video that transmitted on URL RTSP. Pipeline also updates the value of MQTT topic and send it to IoT device. The system implementation shows that FPS output of YOLOv4-Tiny model is 9.3 – 10.7 fps on dual source RTSP with 640 x 480 resolution. The latency between real condition and RTSP output is 3-6 seconds. On qualitative review, system can be used on various room light condition, which is bright, dim and totally dark.

Kata Kunci : Object Detection, YOLO, RTSP, MQTT, Deepstream