LIDAR DAN KAMERA SEBAGAI SENSOR FUSI KENDARAAN OTONOM

Muhammad Nabil Akbar Mustafa, M. Idham Ananta Timur, S.T., M.Kom.

2025 | Skripsi | ELEKTRONIKA DAN INSTRUMENTASI

Kendaraan otonom memerlukan sistem persepsi lingkungan yang akurat untuk dapat bernavigasi dengan aman dalam skenario lalu lintas yang kompleks dan dinamis. Fusi antara sensor kamera RGB dan LiDAR BEV bertujuan untuk menggabungkan informasi visual dan kedalaman secara menyeluruh, untuk meningkatkan kemampuan sistem navigasi kendaraan otonom pada skenario lalu lintas yang kompleks dan dinamis. 

Penelitian ini mengimplementasikan arsitektur TransFuser yang menggabungkan fitur dari kamera dan LiDAR menggunakan modul transformer berbasis imitation learning. Fitur dari kedua sensor diekstraksi melalui backbone CNN terpisah, kemudian digabungkan pada empat level resolusi menggunakan modul transformer untuk menghasilkan prediksi waypoint. Evaluasi dilakukan menggunakan simulator CARLA pada peta Town 5.

Hasil pengujian menunjukkan bahwa model mampu menyelesaikan hampir seluruh rute yang diberikan, dengan rata-rata Route Completion mencapai 99.21% pada 12 rute pengujian. Namun, nilai rata-rata Driving Score yang hanya 73.85 dan Infraction Penalty sebesar 0.74 menunjukkan bahwa meskipun rute dapat diselesaikan, model masih melakukan pelanggaran lalu lintas. Model lebih optimal pada kondisi cuaca berawan dan mendung/pasca hujan dari pada saat hujan dan cerah. Model Fusi sensor kamera dan LiDAR melebihi performa model dengan satu modalitas sensor saja sebesar 157%.

Autonomous vehicles require accurate environmental perception systems to navigate safely through complex and dynamic traffic scenarios. The fusion of RGB camera and LiDAR BEV sensors aims to integrate visual and depth information comprehensively, enhancing the navigation capability of autonomous systems under challenging traffic conditions.

This study implements the TransFuser architecture, which combines features from both camera and LiDAR sensors using a transformer-based module under an imitation learning framework. Features from each sensor are extracted through separate CNN backbones and fused at four spatial resolution levels using transformer modules to produce waypoint predictions. The evaluation was conducted using the CARLA simulator on the Town 5 map.

The experimental results show that the model was able to complete almost all routes, with an average Route Completion of 99.21?ross 12 test routes. However, the average Driving Score of only 73.85 and an Infraction Penalty of 0.74 suggest that although the routes could be completed, the model still committed traffic violations. The model performs more optimally in cloudy and wetcloudy weather conditions than in rainy and clear conditions. The fusion model of camera and LiDAR sensors exceeded the performance of models with a single sensor modality by 157%.

Kata Kunci : Kendaraan Otonom, Fusi Sensor, Imitation Learning, TransFuser, Camera, LiDAR, CARLA Simulator