CENTROID DISTANCE FOURIER DESCRIPTOR FOR SHAPE-BASED HAND GESTURE RECOGNITION IN MOBILE ROBOT TELEOPERATION

Rayi Yanu Tara, Ir. P. Insap Santosa, M. Sc., Ph.D

2012 | Tesis | S2 Teknik Elektro

Dalam beberapa kondisi, sistem teleoperasi robot sangat berguna dalam menyelesaikan tugas berbahaya dimana robot otonom tidak dapat menyelesaikanya. Pemberian instruksi dalam sistem teleoperasi robot dapat dilakukan melalui berbagai metode, termasuk penggunaan isyarat tangan. Isyarat tangan sering digunakan sebagai antarmuka alamiah antara manusia dan robot. Bentuk tangan dapat memberikan informasi dalam melakukan pengenalan isyarat tangan. Pada penelitian ini akan dibahas mengenai penggunaan Centroid distance Fourier Descriptors (CeFD) sebagai deskriptor dari bentuk tangan dalam melakukan pengenalan isyarat tangan yang diambil secara visual. Pengenalan gerakan tangan ini akan digunakan sebagai instruksi untuk sistem teleoperasi robot. Lima isyarat statis yang diadopsi dari ASL fingerspelling akan digunakan dalam penelitian ini. Sebuah kamus isyarat dibuat sebagai acuan masing-masing isyarat. Kombinasi Nearest Neighbor (NN) dan beberapa metode pengukuran jarak akan diteliti sebagai sistem pengenalan isyarat. Proses akuisisi citra dilakukan dengan menggunakan Microsoft Kinect. Analisis terhadap dimensi postur manusia dilakukan untuk menentukan beberapa parameter, yang akan digunakan untuk operasi ambang batas pada citra kedalaman yang ditangkap. Dengan menemukan titik pusat dari lokasi manusia dalam gambar, posisi kedua tangan dapat ditentukan. Dengan demikian, kedua gambar tangan selanjutnya bisa disegmentasi. Centroid distance signature dibuat dari kontur tangan yang telah disegmentasi sebagai sistem dari bentuk tangan. Hasil transformasi fourier pada centroid distance signature menghasilkan deskriptor fourier dari bentuk tangan. Deskriptor fourier dari isyarat tangan ini kemudian dibandingkan dengan deskriptor fourier yang terdapat pada kamus isyarat untuk melakukan pengenalan isyarat. Hasil pengujian menunjukan bahwa, operasi ambang batas pada citra tangan menghasilkan segmentasi secara sempurna. Metode tersebut memiliki waktu komputasi yang rendah dan bekerja dengan baik dengan asumsi tangan manusia berada di depan badan. Penggunaan 15 buah deskriptor Fourier sebagai vektor fitur dan pengukuran Manhattan pada Nearest Neighbor mencapai tingkat pengenalan terbaik yaitu 95% dengan waktu komputasi 6.23556 ms. Implementasi sistem secara real-time dapat dilakukan seiring dengan rendahnya waktu komputasi.

In several conditions, teleoperated robot system is very useful in solving severe task in which autonomous robot cannot. Commanding in robot teleoperation system can be done in several ways, including the use of hand gesture. Hand gestures are often used as natural interface between human and robot. Hand shape can gives information in recognizing hand gesture. Recognizing hand gesture involves several steps. In this research, the use of Centroid distance Fourier Descriptors (CeFD) as hand shape descriptor in hand gesture recognition from visually captured hand gesture is presented. The hand gesture recognition will be used as robot teleoperation command. Five static gestures, which are adopted from ASL fingerspelling, are employed in this research. A gesture dictionary is built as a reference of each gesture. A combination of Nearest Neighbor (NN) classifier and several distance metrics as gesture recognition system are investigated. Hand gesture acquisition utilizes Microsoft Kinect as a depth imager. An analysis of human posture dimension is performed to specify several parameters, which are used to threshold the acquired depth image. By finding the centroid of human location in the image, the position of left and right hand can be located. Thus, both hand images can be segmented. Centroid distance signature is constructed from the segmented hand contours as a hand shape signature. Fourier transformation of the centroid distance signature results in fourier descriptors of the hand shape. The fourier descriptors of hand gesture are then compared with the gesture dictionary to perform gesture recognition. Several experiments show the presented system performances. In the segmentation step, the thresholding operation results in completely segmented hand images. This segmentation method has low computation time and works well with an assumption that human hands are positioned ahead of human body. The use of 15 fourier descriptors as feature vector and Manhattan distance in Nearest Neighbor classifier achieves the best recognition rates of 95% with small computation latency of 6.23556 ms. Real-time implementation of the presented system is applicable due to its processing speed is faster than the imager acquisition rate.

Kata Kunci : teleoperasi, tangan, isyarat, CeFD, deskriptor fourier, pengenalan