Navigasi Robot Bergerak Berbasis Deep Reinforcement Learning Dengan Reward Shaping

Yusuf Kurnia Badriawan, Dr.Eng. Ir., Adha Imam Cahyadi,S.T., M.Eng., IPM.;Ir. Noor Akhmad Setiawan, S.T., M.T., Ph.D., IPM;Ahmad Ataka Awwalur Rizqi, S.T., Ph.D

2023 | Tesis | S2 Teknik Elektro

Dalam beberapa tahun terakhir, berbagai metode navigasi robot telah diusulkan, termasuk penggunaan SLAM (Simultaneous Localization and Mapping), berbagai pendekatan perencanaan jalur seperti A* atau Djikstra, dan metode penghindaran rintangan seperti Artificial Potential Field. Metode navigasi ini penting bagi robot bergerak untuk melakukan navigasi secara otonom. Namun, masih ada tantangan dalam memasukkan berbagai kendala dan data sensor yang beragam dalam proses navigasi robot bergerak, terutama jika tidak ada peta lingkungan yang tersedia. Karakteristik dari lingkungan yang tidak pasti mendorong pengembangan metode navigasi dengan Deep Reinforcement Learning (DRL). Namun, untuk menyelesaikan masalah navigasi, algoritma DRL membutuhkan reward shaping yang menghasilkan fungsi hadiah yang sesuai dengan data pengamatan yang terbatas.

Dalam makalah ini, kami mengusulkan reward shaping untuk metode Deep Q Network (DQN) dan Quantile Regreesion DQN(QR-DQN), dimana merupakan metode metode pada algoritma DRL untuk melakukan navigasi pada robot bergerak. Tujuan dari penelitian ini adalah mencapai posisi tertentu dengan akurasi optimal di ruang 2-dimensi dan terbatas dengan hanya menggunakan data posisi dan jarak.

Kami membandingkan fungsi hadiah positif dan hadiah negatif untuk melatih sistem. Kami juga membandingkan dua jenis lingkungan robot. Kami telah berhasil mencapai kinerja terbaik dengan akurasi 87,3 % tanpa rintangan dan 74.5 ?ngan rintangan.

In recent years, various robot navigation method has been proposed, including the use of SLAM (Simultaneous Localization and Mapping), various path planning approaches such as A* or Djikstra, and obstacle avoidance methods such as an Artificial Potential Field.A navigation method is important for mobile robots to navigate autonomously. However, there are still challenges to including various constraints and diverse sensor data in the navigation process, particularly if no maps of the environment are available.The characteristic of an uncertain environment led to the development of a navigation method with Deep Reinforcement Learning (DRL). However, to solve the navigation problem, the DRL algorithm needs a reward shaping that generates a suitable reward function with limited observation data.

In this research, we proposed reward shaping for Deep Q Network (DQN) and Quantile Regression DQN (QR-DQN), which are methods of the DRL algorithm to perform navigation for a mobile robot. The goal of the algorithm is to achieve a specific position with optimum accuracy on a 2-dimensional space, making use of positioning and distance data only.

We compared a positive and negative reward function to train the sistem. We also compare two types of robot environment. We have successfully achieved the best performance of positioning with 87.3 ?curacy without obscacle and 74.5 % instead.

Kata Kunci : Navigasi, Deep Reinforcement Learning, Reward Shaping