Reinforcement Learning Menggunakan Proximal Policy Optimization (PPO) untuk Lokomosi Robot Humanoid pada Simulator Webots

Sri Ningsih Rahayu, Dr. Ir. Fahmizal, S.T., M.Sc., IPM., ASEAN Eng., SMIEEE.

2026 | Tugas Akhir | D4 Teknologi Rekayasa Instrumentasi dan Kontrol

Robot humanoid berkaki dua memungkinkan pemanfaatan infrastruktur yang dirancang untuk manusia, tetapi pengendaliannya tetap sulit karena sifatnya yang underactuated dan kontak kaki dengan lantai yang berubah sepanjang siklus berjalan. Pembelajaran penguatan dengan algoritma Proximal Policy Optimization (PPO) banyak dipakai untuk mengoptimalkan parameter kendali lokomosi, namun hasil pelatihannya dapat berbeda jauh hanya karena perbedaan nilai seed acak. Penelitian sebelumnya jarang mengukur variabilitas ini dengan jumlah pengulangan yang memadai untuk pengujian statistik formal pada robot berkaki. Nilai reward pelatihan juga umum dipakai sebagai satu-satunya penentu kebijakan terbaik, padahal reward satu episode terbaik hanyalah satu sampel dari proses pelatihan yang stokastik dan belum tentu mencerminkan seberapa konsisten parameter tersebut berhasil ketika diulang pada sampel acak kondisi awal yang lain. Di sisi mekanis, robot dengan kaki bermekanisme paralel (four-bar linkage) biasanya tidak memiliki aktuator ankle pitch, dan pengaruh ketiadaan ini terhadap hasil optimasi PPO dibandingkan mekanisme serial yang teraktuasi penuh, sepengetahuan penulis, belum diuji secara terkendali.

Penelitian ini melatih dua robot humanoid custom yang perbedaan mekanis utamanya adalah konfigurasi kaki, yaitu mekanisme serial enam derajat kebebasan dan mekanisme paralel four-bar linkage tanpa aktuasi ankle pitch, di lingkungan simulasi Webots. Algoritma, fungsi reward, bobot, hyperparameter, ruang aksi, arena, dan prosedur pengujian dijaga identik. Perbedaan lain antarrobot, yaitu lebar telapak, massa, rumus pembangkit gait, dan resolusi waktu gait, dicatat pada Tabel 3.5. PPO memilih lima parameter pola langkah sekali pada awal tiap episode. Setiap robot menjalani dua puluh sesi pelatihan dengan fungsi reward, hyperparameter, dan arena yang dijaga identik, hanya dibedakan nilai seed. Episode ber-reward tertinggi dari tiap sesi divalidasi ulang sepuluh kali dengan pengacakan kondisi awal, dan parameter dari sesi paling tangguh kemudian diuji pada demonstrasi akhir berupa lintasan bergaris tertutup sepanjang 14,90 m mengikuti rancangan faktorial 2 x 2 antara konfigurasi kaki dan asal parameter. Analisis memakai uji nonparametrik, yaitu Mann-Whitney U, eksak Fisher, korelasi Spearman, dan Wilcoxon berpasangan, dengan koreksi Bonferroni untuk pengujian berganda.

Reward naik pada kedua puluh sesi kedua robot (p = 1,9 x 10^-6 pada uji Wilcoxon berpasangan). Besarnya variabilitas antarsesi bergantung pada besaran yang diukur, koefisien variasi di bawah enam persen pada besaran yang diukur dalam kondisi pelatihan, tetapi melebihi enam puluh persen pada success rate validasi. Korelasi antara reward pelatihan dan ketangguhan validasi tidak signifikan pada kedua robot, dengan seluruh nilai p di atas 0,05. Pada demonstrasi akhir, optimasi PPO meningkatkan jarak tempuh robot mekanisme kaki paralel 10,22 kali lipat, dari 0,16 m menjadi 1,66 m, tetapi robot ini tetap tidak menyelesaikan satu pun dari sepuluh putaran. Robot mekanisme kaki serial menyelesaikan sembilan dari sepuluh.

Keseragaman reward selama pelatihan tidak dapat dijadikan sebagai ukuran untuk menggambarkan keseragaman kualitas kebijakan. Validasi secara berulang dan terpisah dari proses pelatihan tetap diperlukan sebelum suatu kebijakan digunakan. Pada robot dengan mekanisme kaki paralel, peningkatan jarak tempuh hingga sekitar sepuluh kali lipat belum membuat robot mampu menyelesaikan satu putaran. Kondisi ini sejalan dengan adanya keterbatasan mekanis pada mekanisme tersebut, khususnya karena tidak terdapat aktuasi ankle pitch, yang belum sepenuhnya dapat diatasi melalui penyetelan parameter kendali. Meskipun demikian, pengaruh keterbatasan tersebut belum dapat dipisahkan dari perbedaan mekanis lainnya yang terdapat pada kedua robot. Kedua temuan tersebut memberikan gambaran kuantitatif mengenai besarnya variabilitas akibat perbedaan seed pada lokomosi humanoid serta menjadi bahan pertimbangan dalam menentukan rancangan mekanis kaki sebelum dilakukan optimasi parameter kendali.

Biped humanoid robots can operate in infrastructure built for humans, but controlling them remains difficult because the system is underactuated and foot-ground contact changes throughout the walking cycle. Reinforcement learning with Proximal Policy Optimization (PPO) is widely used to optimize locomotion control parameters, but training outcomes can differ substantially due to the random seed alone. Prior work rarely measures this variability with enough repetitions for formal statistical testing on legged robots. Training reward is also commonly used as the sole criterion for selecting the best policy, even though the reward of a single best episode is only one sample from a stochastic training process and does not necessarily reflect how consistently the same parameters succeed when repeated under other random draws of the initial conditions. On the mechanical side, robots with a parallel (four-bar linkage) leg mechanism typically lack an ankle pitch actuator, and how this absence affects PPO optimization outcomes compared with a fully actuated serial mechanism has never been tested under controlled conditions.

This study trained two custom humanoid robots whose main mechanical difference is the leg configuration: a six-degree-of-freedom serial mechanism and a four-bar linkage parallel mechanism without ankle pitch actuation, both in the Webots simulation environment. The algorithm, reward function, weights, hyperparameters, action space, arena, and testing procedure were kept identical. Other between-robot differences, namely foot width, mass, gait-generation formulas, and gait time resolution, are recorded in Table 3.5. PPO selects five gait parameters once at the start of each episode. Each robot underwent twenty training sessions with the reward function, hyperparameters, and arena held identical, differing only in random seed. The highest-reward episode from each session was re-validated ten times with randomized initial conditions, and the parameters from the most robust session were then tested in a final demonstration on a 14.90 m closed-loop line track following a 2 x 2 factorial design crossing leg configuration with parameter origin. The analysis used nonparametric tests: the Mann-Whitney U test, Fisher's exact test, Spearman correlation, and the paired Wilcoxon test, with Bonferroni correction for multiple comparisons.

Reward increased across all twenty sessions for both robots (p = 1.9 x 10^-6, paired Wilcoxon test). The size of between-session variability depended on which quantity was measured: the coefficient of variation stayed below six percent for quantities measured under training conditions, but exceeded sixty percent for validation success rate. The correlation between training reward and validation robustness was not significant for either robot, with every p-value above 0.05. In the final demonstration, PPO optimization increased the travel distance of the parallel-leg mechanism robot by 10.22 times, from 0.16 m to 1.66 m. However, the robot still failed to complete any of the ten laps. In contrast, the serial-leg mechanism robot completed nine out of ten laps.

The consistency of training reward cannot be used as a measure of policy quality consistency. Repeated validation conducted separately from the training process remains necessary before a policy is used. For the parallel-leg mechanism robot, an approximately tenfold increase in travel distance did not enable the robot to complete a single lap. This finding is consistent with the mechanical limitations of the mechanism, particularly the absence of ankle pitch actuation, which could not be fully addressed through control parameter tuning. However, the effect of this limitation cannot yet be separated from other mechanical differences between the two robots. These two findings provide quantitative evidence of the extent of variability caused by differences in seed during humanoid locomotion and provide a basis for considering the leg mechanical design before proceeding to control parameter optimization.

Kata Kunci : lokomosi bipedal, proximal policy optimization, mekanisme paralel, variabilitas seed, Webots