Kendali Berbasis Vision untuk Navigasi Excavator menggunakan Deep Reinforcement Learning

NAUFAL MU'AFI, Ahmad Ataka Awwalur Rizqi , S.T., Ph.D; Dr.Eng. Ir. Adha Imam Cahyadi, S.T., M.Eng., IPM.

2024 | Skripsi | TEKNIK ELEKTRO

Penggunaan alat berat seperti excavator menjadi peran penting dalam industri konstruksi yang membutuhkan ketelitian tinggi. Salah satu tantangan yang memerlukan ketelitian tinggi adalah bagaimana mengoperasikan excavator untuk bergerak menuju suatu area. Dalam era modern, pengoperasian excavator secara otomatis terus dikembangkan, salah satunya menavigasi excavator bergerak ke arah target secara otomatis. Keterbatasan manusia ataupun kendali konvensional dalam merespons perubahan lingkungan yang dinamis secara cepat menjadi ruang kesempatan pengembangan model Deep Reinforcement Learning (DRL).  Dengan memanfaatkan masukan visual dari kamera secara real-time, model DRL ini memungkinkan excavator untuk memahami dan beradaptasi terhadap lingkungan yang dinamis tanpa intervensi manusia.

Untuk mensimulasikan excavator digunakan Webots sebagai ruang simulasi fisika dan digunakan Farama Gymnasium sebagai API pembuat medium environment. Untuk mengembangkan model reinforcement learning, digunakan algoritma Proximal Policy Optimization (PPO) yang didukung oleh library Stable-Baselines3. Selain itu, terdapat dua metode pendeteksian objek yang dirancang yaitu metode berbasis pengenalan warna dan metode berbasis CNN dengan menggunakan algoritma YOLO. Dalam perancangannya, beberapa skema eksperimen pemilihan reward function, konfigurasi policy network, ataupun penyetelan hyperparameter tuning diatur dalam proses training untuk mendapatkan model yang mencapai optimal policy.

Hasil penelitian menunjukkan bahwasanya model Deep Reinforcement Learning berbasis vision yang dikembangkan sukses menavigasi excavator menuju objek yang menjadi target. Dengan model DRL ini, excavator dapat bergerak dengan halus, tidak ada pergerakan yang ekstrem, dan excavator berhasil ternavigasi ke objek yang menjadi target dengan langkah yang efisien. Maka, pengembangan model Deep Reinforcement Learning berbasis vision untuk navigasi excavator menjadi solusi bagi pengembangan otomatisasi excavator yang dapat merespons lingkungan yang dinamis dengan cepat.

The use of heavy machinery, such as excavators, plays a critical role in the construction industry, which demands high precision. One of the key challenges requiring such precision is operating the excavator to move toward a designated area. In the modern era, automated excavator operation continues to be developed, including the autonomous navigation of the excavator toward target areas. The limitations of human control and conventional systems in responding rapidly to dynamic environmental changes provide an opportunity for the development of Deep Reinforcement Learning (DRL) models. By utilizing real-time visual input from a camera, this DRL model enables the excavator to perceive and adapt to dynamic environments without human intervention.

For simulation purposes, Webots was used as the physics simulation platform, and Farama Gymnasium was employed as the environment API. The Proximal Policy Optimization (PPO) algorithm, supported by the Stable-Baselines3 library, was used to develop the reinforcement learning model. Additionally, two object detection methods were designed, i.e., a color recognition-based method and a CNN-based method using the YOLO algorithm. In the model's design, several experimental strategies, including reward function selection, policy network configuration, and hyperparameter tuning, were implemented during training to achieve an optimal policy.

The research results demonstrate that the developed vision-based Deep Reinforcement Learning model successfully navigated the excavator toward the target object. With this DRL model, the excavator moved smoothly, avoided extreme movements, and efficiently reached the target object. Thus, the development of the vision-based Deep Reinforcement Learning model for excavator navigation provides a solution for automating excavators that can quickly respond to dynamic environments.

Kata Kunci : Excavator, Deep reinforcement learning, YOLO, Color Recognition, Proximal Policy Optimization