KENDALI MANUVER ROBOT MECANUM MENGGUNAKAN REINFORCEMENT LEARNING DENGAN ALGORITMA QUANTILE REGRESSION DEEP Q-NETWORK (QR-DQN)

Ocklen Setiadilaga, Ahmad Ataka Awwalur Rizqi , S.T., Ph.D ; Adha Imam Cahyadi, S.T., M.Eng., IPM.

2023 | Skripsi | S1 TEKNIK ELEKTRO

Penelitian ini berfokus pada pembuktian reinforcement learning dapat memudahkan pengembangan model kendali bagi sistem yang memiliki tingkat kerumitan yang tinggi dan tidak linear seperti robot dengan roda mecanum. Pengembangan model kendali robot yang mengandalkan model kinematika sering tidak menyertakan ketidakpastian dan ketidaklinearan sistem dalam perhitungan sehingga jika nilai parameter robot tidak sesuai atau mengalami perubahan, model kendali akan memiliki performa yang tidak dapat diandalkan. Sedangkan reinforcement learning tidak menggunakan parameter robot sama sekali dalam menghasilkan model kendali. Dengan begitu, reinforcement learning diharapkan mampu mengatasi ketidakpastian dan ketidaklinearan yang dimiliki robot dengan mempelajari secara langsung bagaimana interaksi yang terjadi antara robot dengan lingkungan. Penelitian ini akan dilakukan dengan eksperimen menggunakan simulasi komputer. Setiap eksperimen bertujuan untuk melihat efek dari setiap komponen atau parameter yang berhubungan dengan reinforcement learning dan kompleksitas eksperimen akan selalu meningkat dari waktu ke waktu. Eksperimen selanjutnya bertujuan untuk mengatasi masalah yang dihadapi dalam eksperimen sebelumnya. Dengan begitu, eksperimen terakhir akan mampu mengatasi semua permasalahan yang ada dan menghasilkan model kendali dengan kemampuan melampaui kriteria keberhasilan yang ditetapkan. Serangkaian eksperimen yang telah dilakukan sudah mampu menghasilkan model kendali yang memiliki performa cukup memuaskan dengan mampu mencapai titik target sedekat mungkin dan tetap mempertahankan simpangan sudut orientasinya sekecil mungkin. Hasil eksperimen tersebut membuktikan bahwa untuk dapat membuat model kendali yang mampu membuat robot mecanum mencapai titik target dan mempertahankan simpangan sudut orientasi jauh di bawah 36?, harus dilakukan pemilihan reward function yang tepat, memberikan jumlah observation space dan action space yang cukup pada agent, menggunakan algoritma reinforcement learning yang sesuai, dan melakukan penyesuaian nilai hyperparameter optimal untuk permasalahan yang dihadapi. Jika ada 1 komponen yang tidak berusaha dipilih secara hati-hati dan dioptimalkan, performa model kendali tidak akan maksimal.

This research proves that reinforcement learning can help develop control models for non-linear systems with high complexity, such as robots with mecanum wheels. Previously, the development of robot control models relied on the robot’s kinematic model, which did not include uncertainty and non-linearity in the system calculation. Therefore, if the robot’s parameter values were not appropriate from the beginning or changed over time, the performance of the resulting control model would suffer poor reliability. In contrast, reinforcement learning does not use robot parameters to generate the control model. Therefore, it is expected that reinforcement learning can overcome the uncertainty and non-linearity of the robot by learning directly how the robot interacts with the environment. This research will be conducted through computer simulations. Each experiment aims to investigate the effects of each component or parameter related to reinforcement learning, and the complexity of the experiments will increase over time. Subsequent experiments aim to address the problems encountered in previous experiments. Thus, the final experiment will be able to overcome all existing problems and produce a control model with performance beyond the success criteria. The series of experiments that have been conducted have already produced a control model with satisfactory performance, capable of reaching the target point as closely as possible while maintaining a slight angular orientation deviation This experimental result proves that to create a control model capable of guiding a mecanum robot to reach the target point while maintaining an orientation angle deviation below 36?, we need to carefully select an appropriate reward function, provide sufficient observation space and action space for the agent, use the appropriate reinforcement learning algorithm, and fine-tune the optimal hyperparameter values for the specific problem. If even one component is not selected and optimized carefully, the control model’s performance will not be optimal.

Kata Kunci : Reinforcement Learning, Robot Mecanum, Reward Function, Observation and Action Space, Hyperparameter