Analisis Kinerja Kerangka Pembelajaran Imitasi Dua Tahap Untuk Kendaraan Otonom Berbasis Kamera Tunggal

Michael Rakavarrel Dhewanggi, Dr. M. Idham Ananta Timur, S.T., M.Kom.

2025 | Skripsi | ELEKTRONIKA DAN INSTRUMENTASI

Perkembangan teknologi kendaraan otonom menuntut metode pembelajaran yang mampu mengatasi kompleksitas lingkungan lalu lintas dan keterbatasan sensor. Salah satu pendekatan yang menonjol adalah pembelajaran imitasi, khususnya kerangka dua tahap Learning by Cheating (LBC), yang memanfaatkan agen teacher dengan akses informasi istimewa (Bird’s-Eye View) dan agen student berbasis kamera tunggal. Penelitian ini mengimplementasikan LBC menggunakan arsitektur DeepLabV3 dengan kerangka dasar ResNet-50 yang identik pada kedua agen, dengan tujuan menganalisis degradasi kinerja akibat kesenjangan informasi serta mengevaluasi ketahanan sistem pada skenario lalu lintas dinamis.

Eksperimen dilakukan menggunakan simulator CARLA (v0.9.10.1) dan tolok ukur CARLA Leaderboard v1 yang menyediakan rute pengujian kompleks dengan variasi lingkungan. Hasil evaluasi menunjukkan adanya penurunan signifikan dari agen teacher ke agen student, terutama dalam metrik Route Completion dan Driving Score, yang disebabkan oleh keterbatasan persepsi visual kamera tunggal dan gangguan pada skenario lalu lintas padat. Analisis kualitatif juga mengungkap kegagalan dominan berupa agent blocked pada persimpangan serta kesulitan dalam menghadapi kasus tepi yang bersifat dinamis.

Penelitian ini menegaskan efektivitas kerangka LBC dalam mengurangi masalah pergeseran kovariat, namun juga menyoroti keterbatasan fundamental saat distilasi pengetahuan dilakukan dari representasi sempurna (Bird’s-Eye View) ke masukan kamera tunggal. Temuan ini diharapkan dapat menjadi dasar pengembangan sistem kendaraan otonom yang lebih tangguh melalui integrasi sensor tambahan maupun arsitektur pembelajaran yang lebih adaptif.

The development of autonomous vehicles requires learning methods that can handle the complexity of traffic environments and sensor limitations. One prominent approach is imitation learning, particularly the two-stage framework Learning by Cheating (LBC), which leverages a teacher agent with privileged access to Bird’s-Eye View information and a student agent relying solely on a monocular camera. This research implements LBC using the DeepLabV3 architecture with a ResNet-50 backbone applied to both agents, aiming to analyze performance degradation caused by the information gap and to evaluate the robustness of the system under dynamic traffic scenarios.

Experiments were conducted using the CARLA simulator (v0.9.10.1) and the CARLA Leaderboard v1 benchmark, which provides complex test routes with diverse environments. The evaluation results demonstrate a significant performance drop from the teacher to the student agent, particularly in the Route Completion and Driving Score metrics, due to the limited perception of monocular vision and disturbances in dense traffic scenarios. Qualitative analysis further reveals frequent failures such as the agent blocked condition at intersections and difficulties in handling dynamic edge cases.

This study highlights the effectiveness of the LBC framework in mitigating the covariate shift problem, while also underscoring the fundamental limitations of knowledge distillation from perfect BEV representations to monocular inputs. These findings are expected to serve as a foundation for developing more robust self-driving car systems through sensor integration and more adaptive learning architectures.

Kata Kunci : CARLA, kendaraan otonom, pembelajaran imitasi