Evaluasi SARSA-HITL untuk Navigasi Otonom JetBot dalam Simulasi dan Implementasi pada Robot Fisik dengan Transfer Learning

Devan Al Fauzi, Bakhtiar Alldino A.S., S.Si., M.Sc.

2026 | Skripsi | ELEKTRONIKA DAN INSTRUMENTASI

Navigasi otonom pada robot bergerak memerlukan kemampuan persepsi lingkungan, pengambilan keputusan, dan pengendalian gerak secara terintegrasi. Reinforcement Learning dapat membentuk kebijakan navigasi melalui interaksi agen dengan lingkungan, tetapi eksplorasi awal sering menghasilkan aksi tidak aman yang memicu tabrakan dan memperlambat konvergensi. Penelitian ini mengintegrasikan pendekatan Human-in-the-Loop (HITL) pada algoritma SARSA untuk membuat proses eksplorasi lebih terarah dan aman.

Penelitian menggunakan platform NVIDIA JetBot yang diuji pada simulasi ROS2-Gazebo dan robot fisik. State dibentuk dari kombinasi tiga sensor ultrasonik yang didiskritisasi menjadi lima level dan deteksi marker ArUco dari kamera menjadi tujuh kategori, sehingga menghasilkan 875 state. Robot memiliki aksi maju, belok kiri tajam, belok kanan tajam, belok kiri ringan, dan belok kanan ringan. SARSA digunakan sebagai metode dasar, sedangkan SARSA-HITL menerapkan intervensi manusia berupa manual action override menggunakan keyboard saat agen memilih aksi berisiko. Aksi hasil intervensi digunakan untuk memperbarui Q-table sehingga manusia menjadi bagian dari proses pembelajaran.

Pada simulasi, SARSA dan SARSA-HITL sama-sama mencapai success rate 100%. Namun, SARSA-HITL mencapai konvergensi lebih cepat, yaitu pada episode ke-99 dengan waktu pelatihan 1 jam 54 menit, sedangkan SARSA konvensional memerlukan 242 episode dan 8 jam 2 menit. Pada robot fisik, Q-table hasil simulasi memberikan keberhasilan awal 40% (4/10 percobaan). Setelah fine-tuning menggunakan HITL selama sekitar 40 episode, tingkat keberhasilan meningkat menjadi 70% (7/10). Hasil ini menunjukkan bahwa SARSA-HITL mempercepat pembelajaran dan membantu adaptasi kebijakan navigasi dari simulasi ke robot fisik.

Autonomous navigation in mobile robots requires integrated environmental perception, decision-making, and motion control. Reinforcement Learning can learn navigation policies through agent-environment interaction; however, early-stage exploration often produces unsafe actions that increase collision risk and slow convergence. Therefore, this study integrates a Human-in-the-Loop (HITL) approach into the SARSA algorithm to guide exploration and improve training safety.

This study employs the NVIDIA JetBot platform in both ROS2-Gazebo simulation and physical robot experiments. The state representation combines three ultrasonic sensors discretized into five levels and ArUco marker detection from a camera into seven categories, resulting in 875 states. The robot has five discrete actions: forward, sharp left turn, sharp right turn, slight left turn, and slight right turn. SARSA is used as the baseline algorithm, while SARSA-HITL incorporates human intervention through manual action override using a keyboard whenever the agent selects a risky action. The overridden action is then used to update the Q-table, allowing human experience to become part of the learning process.

Simulation results show that both SARSA and SARSA-HITL achieved a 100% success rate. However, SARSA-HITL converged faster at episode 99 with a training time of 1 hour 54 minutes, whereas conventional SARSA required 242 episodes and 8 hours 2 minutes. On the physical robot, the Q-table transferred from simulation achieved an initial success rate of 40% (4/10 trials). After approximately 40 episodes of HITL fine-tuning, the success rate increased to 70% (7/10 trials). These results demonstrate that SARSA-HITL accelerates learning and facilitates navigation policy adaptation from simulation to a physical robot.

Kata Kunci : Reinforcement Learning, SARSA, Human-in-the-Loop, JetBot, ROS2, Navigasi Otonom