Identifikasi Jari Tangan Menggunakan Fitur Geometri dan Analisis Kontur

ANDI SUNYOTO, Drs. Agus Harjoko, M.Sc,Ph.D; Drs. Retantyo Wardoyo, M.Sc, Ph.D; Mochamad Hariadi, ST., M.Sc., Ph.D

2019 | Disertasi | DOKTOR ILMU KOMPUTER

Penelitian deteksi pergelangan dan identifikasi jari pada gestur tangan masih terbuka untuk menyelesaikan permasalahan efek dari derajat kebebasan tangan. Permasalahan pada penelitian sebelumnya adalah akurasi deteksi pergelangan yang masih rendah dan kesulitan mengidentifikasi jari jika pada pose tangan terdapat jari yang terlipat. Metode yang baru saat ini kebanyakan sudah menggunakan pendekatan perhitungan geometri dan analisis kontur, tetapi performanya masih perlu ditingkatkan. Penelitian deteksi pergelangan yang ada saat ini menggunakan garis terpanjang antar kontur (longest chord) dan analisis kontur menghasilkan akurasi masih rendah, sedangkan penelitian identifikasi jari masih terkendala jika ada jari yang terlipat. Model pertama yang dikembangkan pada penelitian ini adalah deteksi pergelangan tangan berbasis sebuah minimum bounding box (MBB), fitur geometri dan analisis kontur tangan yang bertujuan meningkatkan akurasi deteksi lokasi pergelangan. Model deteksi pergelangan dimulai dengan mendeteksi sebuah MBB, membuat garis-garis paralel, analisis puncak, menentukan lingkup pencarian, menentukan pasangan titik kandidat, dan akhirnya menentukan titik pergelangan dengan mencari jarak terdekat pasangan titik kandidat. Model kedua mengembangkan identifikasi jari yang dimulai dari pemisahan kontur telapak dari kontur tangan berdasarkan posisi dari pergelangan tangan, menganalisis puncak dengan menghitung jarak dari titik tengah pergelangan ke masing-masing kontur, menghilangkan titik puncak yang berdekatan, dan diakhiri mengidentifikasi jari dengan representasi 5bit yang bertujuan mengidentifikasi masing-masing jari. Kedua model yang diusulkan dievaluasi menggunakan database publik berisi kompulan pose tangan yang sering digunakan untuk mengevaluasi performa hand gestur recognition. Berdasarkan evaluasi kinerja, metode deteksi pergelangan berbasis MBB menghasilkan akurasi mencapai 73.19%, lebih tinggi 9.19% dibandingkan metode longest chord dengan ambang batas E=0.5. Metode identifikasi jari dapat mengidentifikasi masing-masing jari yaitu: Ibu jari, Telunjuk, Tengah, Manis, dan Kelingking didapatkan akurasi berurut untuk masing-masing jari 65.47%,63.07%,59.29%,53.45%,50.97%.

Research on wrist detection and finger identification for hand gestures is still open to solve problems of the degrees of freedom. The problems in the previous study were the accuracy of wrist detection which was still low on and difficulty identifying the finger if the hand pose had a folded finger. Current wrist detection studies use the longest line between contours (longest chord) and corner analysis of accuracy is still low, while finger identification studies are still constrained if there are folded fingers. Current wrist detection studies use the "longest line between contours" (longest chord) and "corner analysis" has still low accuracy, while finger identification studies are still constrained if there are folded fingers. The first model developed in this study was wrist detection using an MBB, geometric features and hand contour analysis. The wrist detection model start by detecting an MBB, making parallel lines, peaks analyzing, determining the scope of the search, specifying pairs of candidate points, and finally determining the wrist point by looking for the closest distance of the pair points candidate. The second model develops finger identification that starts from separating the contour of the palm from the hand contour based on the position of the wrist, analyzing the peak by calculating the distance from the midpoint of the wrist to each contour, eliminating the adjacent peak, and finally identifying the finger with a 5bit representation. Both of proposed models are evaluated using a public database containing a number of hand poses that are often used to evaluate the performance of hand gestur recognition. Based on the performance evaluation by comparing the wrist detection based on MBB with ground thrut data (GTD) the accuracy reached 73.19%, is higher 9.19% compared to the longest chord method for the threshold E = 0.5. Finger identification method can identify each finger, namely: thumb, index, middle, sweet, and pinkie obtained the accuracy for each finger 65.47%, 63.07%, 59.29%, 53.45%, 50.97%, respectively.

Kata Kunci : hand gesture, pose, wrist, geometry, finger,identification