Implementasi Algoritma Proximal Policy Optimiztion Pada Self-Driving Car Menggunakan Simulator Carla

FREDERICK TAUFAN GHAFAR, Muhammad Idham Ananta Timur, S.T., M. Kom

2024 | Skripsi | ELEKTRONIKA DAN INSTRUMENTASI

Kondisi teknologi mengemudi otonom saat ini ditandai dengan kemajuan dalam bidang Machine Learning serta Artificial Intelligence khususnya dalam bidang Deep Learning serta Reinforcement Learning. Teknologi-teknologi ini telah memungkinkan pengembangan model yang dapat secara efektif menavigasi kendaraan dalam lingkungan simulasi. Penelitian ini mengeksplorasi penggunaan model Deep Reinforcement Learning (DRL) dengan algoritma Proximal Policy Optimization (PPO) yang terintegrasi dengan Variational Autoencoder (VAE) dalam simulasi mengemudi otonom menggunakan CARLA Simulator. PPO adalah algoritma reinforcement learning berbasis pada gradien kebijakan (policy gradient) yang dapat bekerja pada continuous state dan action space yang bervariasi, berbeda dengan algoritma DQN yang hanya dapat bekerja pada discrete action space. Ekstraksi fitur VAE yang mengubah Semantic Segmentation menjadi ruang laten berdimensi rendah terbukti meningkatkan efisiensi pelatihan agen PPO dibandingkan dengan penggunaan data mentah. Lingkungan simulasi dikembangkan dengan dua skenario navigasi mobil otonom. Hasil menunjukkan bahwa model VAE yang dilatih dengan dataset Semantic Segmentation memberikan performa lebih baik dibandingkan dengan input RGB. Kesimpulan penelitian menggarisbawahi bahwa integrasi VAE dalam DRL memperbaiki kinerja agen PPO dalam tugas mengemudi otonom. Rekomendasi untuk penelitian selanjutnya meliputi eksplorasi metode yang lebih efisien dalam pelatihan model PPO dan penggunaan dataset yang lebih bervariasi untuk VAE.

The current state of autonomous driving technology is marked by advancements in Machine Learning and Artificial Intelligence, particularly in Deep Learning and Reinforcement Learning. These technologies have enabled the development of models that can effectively navigate vehicles in simulated environments. This study explores the use of a Deep Reinforcement Learning (DRL) model with the Proximal Policy Optimization (PPO) algorithm integrated with a Variational Autoencoder (VAE) in autonomous driving simulations using the CARLA Simulator. PPO is a policy gradient-based reinforcement learning algorithm capable of operating in continuous state and action spaces, unlike the DQN algorithm, which can only operate in discrete action spaces. The feature extraction of the VAE, which transforms Semantic Segmentation into a low-dimensional latent space, has been shown to enhance the training efficiency of the PPO agent compared to using raw data. The simulation environment was developed with two autonomous vehicle navigation scenarios. Results indicate that the VAE model trained with the Semantic Segmentation dataset performs better than the RGB input. The study concludes that integrating VAE into DRL improves the performance of the PPO agent in autonomous driving tasks. Recommendations for future research include exploring more efficient methods for training the PPO model and using more varied datasets for the VAE.

Kata Kunci : Carla simulator, proximal policy optimization, variational autoencoder, deep reinforcement learning