Kendali Cerdas Gerak Robot Lengan Industri Menggunakan Metode Reinforcement Learning

BAKHTIAR ALLDINO A S, Prof. Dr. Ir. Jazi Eko Istiyanto, M.Sc.; Dr. Andi Dharmawan, S.Si., M.Cs.;

2026 | Disertasi | DOKTOR ILMU KOMPUTER

Robot lengan industri umumnya bekerja dengan pola gerak yang telah diprogram, sehingga efektif untuk tugas berulang tetapi kurang adaptif ketika posisi target berubah atau lingkungan kerja tidak sepenuhnya terstruktur. Penelitian ini mengembangkan kendali cerdas robot lengan OpenManipulator-X berbasis Reinforcement Learning (RL) pada perangkat tertanam dengan sumber daya komputasi terbatas. Fokus utama penelitian adalah menanamkan aktor RL pada mikrokontroler Teensy 4.1 sebagai embedded inference controller. Teensy 4.1 dievaluasi pada frekuensi standar 600 MHz dan konfigurasi overclocking stabil 816 MHz. Overclocking diposisikan bukan sekadar peningkatan clock, tetapi sebagai strategi untuk memperbesar ruang komputasi agar pembacaan state, inferensi aktor, pembatasan aksi, dan pengiriman perintah servo dapat dilakukan dalam siklus kendali waktu nyata.

Arsitektur sistem yang dikembangkan bersifat hibrida: pelatihan dilakukan pada komputer eksternal, sedangkan inferensi aktor dijalankan secara lokal pada Teensy 4.1. Algoritma yang digunakan adalah Soft Actor-Critic with Conservative Q-Learning and Synaptic Intelligence (SAC-CQL-SI). Pada tahap pelatihan, komputer menjalankan pembaruan actor-critic, replay buffer, optimasi gradien, penalti CQL, dan konsolidasi SI. Setelah pelatihan konvergen, hanya jaringan aktor yang diekspor ke Teensy 4.1. Pelatihan menggunakan policy warm-up 10.000 langkah, 100 epoch per tugas, 1.000 langkah gradien per epoch, dan mini-batch 256. Sistem diintegrasikan dengan servo Dynamixel 1 Mbps dan micro-ROS untuk supervisi, telemetri, dan pencatatan data.

Hasil pengujian menunjukkan bahwa Teensy 4.1 pada 816 MHz meningkatkan responsivitas dibandingkan konfigurasi 600 MHz. Waktu respons loop kendali menurun sekitar 1,65 kali, sedangkan tingkat keberhasilan terbaik mencapai 97 ± 2 % pada Area 2. Area 3 menjadi area paling sulit dengan tingkat keberhasilan sekitar 74 ± 5 % karena target berada dekat batas kinematika dan keterjangkauan mekanis robot. Temuan ini menunjukkan bahwa adaptabilitas robot tidak hanya ditentukan oleh model RL, tetapi juga oleh kesesuaian antara kebijakan aktor, kapasitas mikrokontroler, stabilitas komunikasi servo, timing loop, dan batas mekanik robot.

Industrial robotic arms are commonly controlled using predefined motion patterns, which are effective for repetitive tasks but less adaptive when target positions change or the workspace is not fully structured. This study develops an intelligent motion control system for the OpenManipulator-X robotic arm using Reinforcement Learning (RL) on a resource constrained embedded device. The main focus is the deployment of a trained RL actor on a Teensy 4.1 microcontroller as an embedded inference controller. The Teensy 4.1 is evaluated at its standard frequency of 600 MHz and at a stable overclocked configuration of 816 MHz. In this study, overclocking is not treated merely as a clock-speed increase, but as a computational strategy to provide sufficient headroom for state acquisition, actor inference, action limiting, and servo command transmission within a real-time control cycle.

The proposed system adopts a hybrid architecture in which training is performed on an external workstation, while actor inference is executed locally on the Teensy 4.1. The learning algorithm used is Soft Actor-Critic with Conservative Q-Learning and Synaptic Intelligence (SAC-CQL-SI). During training, the workstation handles actor-critic updates, replay buffer processing, gradient optimization, CQL regularization, and SI-based parameter consolidation. Once training converges, only the actor network is exported to the Teensy 4.1. The training procedure uses a policy warm-up of 10,000 steps, 100 epochs per task, 1,000 gradient steps per epoch, and a mini-batch size of 256. The embedded controller is integrated with 1 Mbps Dynamixel servo communication and micro-ROS for supervision, telemetry, and data logging.

Experimental results show that operating the Teensy 4.1 at 816 MHz improves system responsiveness compared with the 600 MHz configuration. The control-loop response time decreases by approximately 1.65 times, while the best success rate reaches 97 ± 2 % in Area 2. Area 3 is the most challenging region, with a success rate of approximately 74 ± 5 %, due to kinematic limits and the robot’s mechanical reachability. These findings indicate that robotic adaptability is determined not only by the RL model, but also by the alignment among the actor policy, microcontroller capacity, servo communication stability, control-loop timing, and mechanical constraints.

Kata Kunci : Reinforcement Learning, SAC-CQL-SI, Teensy 4.1, overclocking, OpenManipulator-X, embedded inference, micro-ROS,