Sistem Kendali Keseimbangan Statis pada Robot Quadruped Menggunakan Reinforcement Learning

HIDAYAT EKO SAPUTRO, Prof. Dra. Sri Hartati, M.Sc., Ph.D.; Ilona Usuman, S.Si., M.Kom.

2022 | Skripsi | S1 ELEKTRONIKA DAN INSTRUMENTASI

Hal dasar yang perlu diperhatikan saat membuat robot quadruped adalah masalah keseimbangan. Keseimbangan menentukan keberhasilan robot quadruped dalam melakukan gerakan seperti menstabilkan tubuh pada bidang miring, gerakan berjalan dan lain-lain. Hal ini menyebabkan robot quadruped harus memiliki kemampuan untuk mengendalikan tubuhnya supaya tetap seimbang atau dapat mempertahankan sikap berdirinya. Metode kendali umpan balik konvensional dengan melakukan pemodelan matematis dapat dimanfaatkan untuk melakukan penyeimbangan sikap berdiri robot, namun metode ini masih memiliki kekurangan. Penerapan metode kendali umpan balik konvensional sering menghasilkan pengontrol yang tidak akurat, sehingga harus disetel secara manual untuk penerapannya. Pada penelitian ini digunakan metode reinforcement learning dengan menggunakan algoritma Q-Learning. Penggunaan metode reinforcement learning dipilih karena tidak diperlukan perhitungan matematis untuk mengontrol keseimbangan robot quadruped. Proses pembelajaran sistem untuk melatih kemampuan agent dilakukan dengan menggunakan simulator Gazebo. Hasil pembelajaran menunjukkan bahwa sistem dapat bekerja dengan baik yang dibuktikan dengan nilai sum rewards per episode yang semakin tinggi. Untuk mengetahui kemampuan agent dilakukan tiga pengujian, yaitu pengujian pada sumbu roll, sumbu pitch, serta sumbu roll dan pitch pada simulator Gazebo dan pada dunia nyata. Hasil pengujian menunjukkan bahwa pengujian pada simulator Gazebo memiliki hasil yang lebih unggul dalam nilai rata-rata overshoot yang lebih kecil 2,04°, hasil rata-rata sum rewards yang lebih besar 522,1 poin, serta menghasilkan rata-rata steady-state error yang lebih kecil 0,30° dari dunia nyata.

The basic thing to consider when building a quadruped robot is the issue of balance. Balance determines the success of quadruped robots in performing movements such as stabilizing the body on an oblique plane, walking movements, and others. This causes quadruped robots to have the ability to control the body in order to stay balanced or be able to maintain its stance. Conventional feedback control methods by performing mathematical modeling can be used to balance the robot’s standing posture, but this method still has drawbacks. The application of conventional feedback control methods often results in an inaccurate controller, so it must be manually tuned for its application. In this study, reinforcement learning methods were used using Q-Learning algorithms. The use of reinforcement learning methods was chosen because no mathematical calculations are needed to control the balance of quadruped robots. The process of learning the system to train the agent's abilities is carried out using a Gazebo simulator. The learning results show that the system could run well as evidenced by the higher value of sum rewards per episode. To determine the agent's ability, three tests were carried out, namely testing on the roll axis, pitch axis, as well as roll and pitch axes on the Gazebo simulator and in the real world. The test results show that testing on the Gazebo simulator has greater results in a smaller average overshoot value of 2.04°, larger average sum rewards result of 522.1 points, and produces a smaller average steady-state error 0.30° from the real world.

Kata Kunci : Quadruped, Reinforcement Learning, Q-Learning, Rewards, Gazebo