Perancangan dan Implementasi Reinforcement Learning from Human Feedback pada Soft Robotic Compression Sleeve untuk Terapi Kompresi Adaptif

WITARADYA ADHI DHARMA, Ahmad Ataka Awwalur Rizqi, S.T., Ph.D.; Ir. Ridwan Wicaksono, S.T., M.Eng., Ph.D.

2026 | Tesis | S2 Teknik Elektro

Lymphedema pada ekstremitas bawah merupakan kondisi kronis yang membutuhkan terapi kompresi untuk membantu mengurangi pembengkakan dan mendukung aliran cairan limfa. Namun, perangkat kompresi pneumatik konvensional umumnya masih menggunakan parameter tekanan tetap sehingga belum mampu menyesuaikan tekanan terapi berdasarkan kenyamanan pengguna. Penelitian ini bertujuan merancang dan mengimplementasikan sistem terapi kompresi adaptif berbasis soft robotic compression sleeve menggunakan pendekatan Reinforcement Learning from Human Feedback (RLHF) dengan algoritma Proximal Policy Optimization (PPO). Sistem terdiri atas tiga segmen soft robotic sleeve pada bagian distal, medial, dan proksimal betis untuk menghasilkan mode kompresi gradien, intermiten, dan peristaltik. Kontrol PID digunakan sebagai low-level controller untuk menjaga tekanan aktual agar mengikuti target tekanan, sedangkan RLHF menggunakan PPO berperan sebagai high-level controller untuk menentukan target tekanan berdasarkan umpan balik kenyamanan pengguna. Mekanisme transfer learning dan continual learning diterapkan untuk mendukung adaptasi model pada mode terapi maupun pengguna berikutnya. Hasil pengujian menunjukkan bahwa sistem mampu mengikuti target tekanan dengan nilai steady-state error sebesar 0,200 - 1,929%, rise time sebesar 1,843 - 6,260 detik, dan settling time sebesar 2,186 - 6,828 detik. Sistem juga mampu merealisasikan tiga mode kompresi dalam satu perangkat. Implementasi RLHF menggunakan PPO mampu menyesuaikan target tekanan berdasarkan umpan balik kenyamanan pengguna, sedangkan mekanisme transfer learning dan continual learning memungkinkan adaptasi model dengan kebutuhan retraining sebanyak 0 - 2 kali pada 18 pengujian. Evaluasi terhadap enam partisipan sehat menunjukkan respons positif dengan nilai rata-rata kuesioner sebesar 4,33 - 4,67 dari skala 5. Hasil penelitian menunjukkan bahwa sistem yang dikembangkan berpotensi mendukung terapi kompresi adaptif yang lebih personal dan berorientasi pada kenyamanan pengguna.

Lower-limb lymphedema is a chronic condition that requires compression therapy to help reduce swelling and support lymphatic fluid movement. However, conventional pneumatic compression devices commonly rely on fixed pressure parameters, which limits their ability to adapt therapy pressure to user comfort preferences. This study aims to design and implement an adaptive compression therapy system based on a soft robotic compression sleeve using Reinforcement Learning from Human Feedback (RLHF) with the Proximal Policy Optimization (PPO) algorithm. The system consists of three soft robotic sleeve segments placed on the distal, medial, and proximal regions of the calf to generate gradient, intermittent, and peristaltic compression modes. A PID controller is used as the low-level controller to regulate the actual pressure according to the target pressure, while RLHF with PPO acts as the high-level controller to determine the target pressure based on user comfort feedback. Transfer learning and continual learning are also implemented to support model adaptation across compression modes and users. Experimental results show that the system can track the target pressure with a steady-state error of 0.200 - 1.929%, a rise time of 1.843 - 6.260 s, and a settling time of 2.186 - 6.828 s. The system also successfully implements the three compression modes in a single device. RLHF with PPO adjusts the target pressure based on user comfort feedback, while transfer learning and continual learning enable model adaptation with 0 - 2 retraining processes across 18 tests. Evaluation with six healthy participants showed positive responses, with questionnaire scores ranging from 4.33 to 4.67 out of 5. These results indicate that the proposed system has the potential to support the development of adaptive compression therapy that is more personalized and oriented toward user comfort.

Kata Kunci : soft robotic compression sleeve, terapi kompresi adaptif, RLHF, PPO, transfer learning, continual learning