Suction-based Grasp Point Estimation in Cluttered Environment for Robotic Manipulator

TRI WAHYU UTOMO, Dr.Eng. Igi Ardiyanto, S.T., M.Eng.; Adha Imam Cahyadi, S.T., M.Eng., D.Eng.

2019 | Skripsi | S1 TEKNIK ELEKTRO

Permasalahan interaksi dan manipulasi objek yang tersusun secara tak beraturan oleh robot manipulator telah menjadi sangat penting dalam proses penyelesaian berbagai tugas pada proses industri yang modern. Namun permasalahan umum yang masih banyak dihadapi pada berbagai metode yang ada saat ini adalah sulitnya mengimplementasikan metode tersebut pada lingkungan yang tidak beraturan yang mana umumnya diakibatkan karena ketidakmampuan metode tersebut untuk beradaptasi terhadap perubahan lingkungan dan objek yang ditangani. Tidak hanya itu, total waktu komputasi metode tersebut juga menjadi permasalahan karena membutuhkan waktu yang terlalu lama untuk dapat menghasilkan solusi yang lebih efisien untuk diimplementasikan. Pada skripsi ini kami mengembangkan sebuah pendekatan baru untuk metode estimasi titik angkat objek untuk aktuator berbasis suction pada lingkungan yang tak beraturan yang mampu bekerja pada kecepatan mendekati atau hingga mencapai real-time yang menggunakan pendekatan berbasis "affordance". Metode yang dikembangkan ini menggunakan deep neural network untuk tugas semantic segmentation yang telah dimodifikasi untuk dapat melakukan klasifikasi setiap elemen pixel pada gambar RGBD input yang nantinya digunakan untuk menghitung nilai peluang dari setiap elemen pixel input yang merepresentasikan peluang kesuksesan pengangkatan objek pada area pixel tersebut yang kami namakan "affordance map". Metode ini tidak membutuhkan pengetahuan tentang model dan jenis objek sebelum melakukan prediksi dengan cara menghilangkan langkah estimasi orientasi dan pengenalan jenis objek dan menggunakan asumsi untuk memprediksi titik angkat terlebih dahulu lalu kemudian baru mengenali objek tersebut. Dengan dataset yang digunakan, metode ini mampu melebihi performa terbaik dibanding metode lain dengan kepresisian sebesar 88.45% dan kecepatan 29.8ms. Meskipun hanya dirancang untuk digunakan pada jenis objek rumah tangga sehari-hari, metode ini juga mampu diadaptasi untuk digunakan pada jenis objek lainnya dengan catatan terdapat data yang cukup untuk dapat digunakan pada proses training model. Semua program dan script implementasi pada skripsi ini tersedia pada https://github.com/triwahyuu/suction_grasp_estimate.

The task of perception and manipulation of a highly cluttered objects for robotic manipulator has become increasingly demanded to achieve a more efficient task in a modern industrial environment. But most of the currently available methods used to perform this task could easily fall short in terms of performance when implemented for this kind of scenario, which is mainly because of the result of the inability for the methods to adapt to the change of the environment and the objects they are handling. Not only that, the computation time of those methods are also taking too long to achieve a more efficient solution. In this thesis, we proposed a new approach to suction-based grasp point estimation in a highly cluttered environment in near to real-time which employs an affordance-based approach. We use a modified deep neural network model for semantic segmentation task to classify pixel elements of the input RGBD image which then be used to produce pixel-wise probability map which represents the probability of successful grasping action in that particular pixel region that we call affordance mao. This approach does not need to have any prior knowledge or models of the objects by removing the step of pose estimation and object recognition entirely compared to most of current approach and use an assumption to grasp first then recognize later, which makes it possible to have an object-agnostic property. Using the provided dataset, this approach could achieve state-of-the-art performance with 88.45% of precision and inference time of 29.8ms. The system was designed to be used for household objects, but it can be easily extended for any kind of objects provided the datasets to be used for training the models. The implementation codes for this thesis is available at https://github.com/triwahyuu/suction_grasp_estimate.

Kata Kunci : grasp point estimation, household objects, RGBD image, deep learning, semantic segmentation, cluttered environment