Penggabungan Sensor Kamera dan LiDAR untuk Mengatasi Keterbatasan Deteksi Objek pada Mobil Otonom

Gracy Presiliasani Purwoto, Dr. Muhammad Idham Ananta Timur, M.Kom.

2026 | Skripsi | ELEKTRONIKA DAN INSTRUMENTASI

Kamera dan LiDAR memiliki keterbatasan bawaan. Kamera rentan terhadap fluktuasi cahaya dan minim persepsi kedalaman, sedangkan LiDAR tidak memiliki pembacaan visual dan mudah terpengaruh oleh noise. Selain itu, metode sensor fusion sebagian besar diuji di simulator. Penelitian ini mengusulkan metode optical sensor fusion berbasis geometri terstruktur yang diimplementasikan dan diuji tanpa simulator.

Sebelum digabungkan, sistem mengekstraksi bounding box 2D dari citra kamera menggunakan OpenCV, sedangkan point cloud LiDAR difilter serta dikalibrasi secara ekstrinsik. Integrasi kedua data dilakukan melalui angle-based fusion untuk mengekstrak titik dengan jarak Euclidean terdekat pada tiap-tiap bounding box dengan rentang sudut tertentu.

Pengujian pada berbagai variasi skenario menghasilkan rata-rata IoU deteksi visual sebesar 87,24%. Metode ini mencapai akurasi spasial tinggi dengan MAE jarak sekitar 1,36 cm. Metode ini mampu mengungguli monocular depth estimation sekaligus mengatasi kelemahan LiDAR klasterisasi data dengan adanya pembacaan visual. Waktu pemrosesan juga terpangkas signifikan dari 369,65 detik menjadi 4,90 detik per frame sehingga membuktikan efisiensi serta keandalan redundansi spasialnya.

Cameras and LiDAR have inherent limitations: cameras are sensitive to lighting fluctuations and lack precise depth perception, while LiDAR lacks visual context and is susceptible to noise. Furthermore, most existing sensor fusion methods are only evaluated in simulators. This study proposes a structured geometry-based optical sensor fusion method implemented and tested directly on a physical setup without simulation.

Prior to fusion, the system extracts 2D bounding boxes from camera frames using OpenCV, while LiDAR point clouds are filtered and extrinsically calibrated. Data integration is achieved via angle-based fusion to extract the point with the nearest Euclidean distance within the angular range of each bounding box.

Experimental results across diverse scenarios show an average visual detection IoU of 87.24% and a spatial distance MAE of 1.36 cm. This method outperforms monocular depth estimation while resolving LiDAR clustering challenges through visual cues. Additionally, processing time is significantly reduced from 369.65 s to 4.90 s per frame, demonstrating both computational efficiency and reliable spatial redundancy.

Kata Kunci : kendaraan otonom, sensor fusion, computer vision, akurasi spasial