IMPLEMENTASI SISTEM PENGENALAN GESTURE TANGAN SEBAGAI VIRTUAL MOUSE MENGGUNAKAN PENGOLAHAN CITRA DIGITAL

MUHAMMAD WIDY RAMADHANI, Ika Candradewi, S.Si., M.Cs.

2017 | Skripsi | S1 ELEKTRONIKA DAN INSTRUMENTASI

Human Computer Interaction (HCI) adalah studi bagaimana orang orang berinteraksi dengan komputer dan seberapa berkembangnya komputer untuk berinteraksi dengan manusia. Interaksi manusia dan komputer yang sudah umum adalah dengan menggunakan hardware tambahan seperti keyboard, pointer dan mouse, namun tidak menggunakan hardware yang sudah ada seperti webcam. Agar dapat menggunakan webcam pada komputer sebagai sarana interaksi manusia dengan komputer maka diperlukan suatu pengolahan citra digital. Pada penelitian Mahtarami dan Hariadi (2010), dibuat sebuah sistem untuk pengenalan gesture dan jumlah jari tangan untuk berinteraksi dengan komputer. Sistem tersebut kurang efektif karena masih menggunakan media tambahan yaitu sarung tangan. Suatu sistem dikatakan efektif ketika tidak ada perangkat tambahan dalam pengenalan gerak tangan dan jumlah jari tangan. Pada penelitian ini dirancang sebuah sistem untuk mendeteksi gerak tangan dan menghitung jumlah jari tangan yang diangkat. Pada pendeteksian gerak tangan dibutuhkan kontur citra tangan. Kontur yang sudah didapat dicari centroid-nya untuk mendapatkan titik tengah kontur sebagai pergerakan tangan. Setelah didapat konturnya maka dicari nilai convex hull dan convexity defect. Kedua nilai tersebut digunakan untuk mendapatkan nilai kandidat ujung jari tangan. Setelah didapat nilai tersebut, digunkan perhitungan matematika untuk mencari titik yang berada di atas pergelangan tangan, sudut diantara dua jari dan panjang jari tangannya. Setelah didapat jumlah ujung jari tangan maka diimplementasi dalam virtual mouse untuk menjalankan fungsi fungsi dasar dari mouse seperti move, double click, right click, left click, scroll down, dan scroll up. Sistem dapat mendeteksi jumlah jari tangan sebanyak 1 sampai 5 jari dengan menggunakan metode kombinasi convex hull, convexity defect dan perhitungan matematika. Sistem mampu mendapatkan akurasi dalam mendeteksi jumlah jari yang benar sebesar 73% untuk deteksi jumlah jari 5, 86% untuk jumlah jari 4, 92% untuk jumlah jari 3, 97% untuk jumlah jari 2, dan 83% untuk jumlah jari 1.

Human Computer Interaction (HCI) a study how people interact with computers and how the computer develops to interact with humans. The common human and computer interaction is using additional hardware such as keyboard, pointer and mouse, but did not using existing hardware such as webcam. In order to use webcam on the computer as a means of human and computer interaction it is required a digital image processing. In previous research by Mahtarami and Hariadi (2010), a system was developed for the hand gesture recognition and finger counting detection to interact with computers. The system is ineffective because it still uses additional media that is gloves, thus requiring a system that is more effective with ni additional media in the detection of hand gestures and number of fingers. This research designed a system to detect hand motion and count the number of lifted fingers. For detection of hand motion required contour of the hand image. Contours that have been obtained sought its centroid to get the center of the contour as the movement of the hand. After the contour is obtained, we need to searched value of convex hull and convexity defect. Both values are used to find the candidate value of fingertips. After the candidate value of fingertips obtained, it is uses mathematical calculations to find the point that is above the wrist, the angle between two fingers and the length of fingers. Once obtained the number of fingertips then implemented in a virtual mouse to perform basic function functions of the mouse such as move, double click, right click, left click, scroll down, and scroll up. The system that proposed can detect the number of fingers as much as 1 to 5 fingers using a combination method of convex hull, convexity defect and mathematical calculations. The system was able to obtain accuracy in detecting the correct number of fingers by 73% for fingerprint detection 5, 86% for finger count 4, 92% for finger count 3, 97% for number of finger 2, and 83% for finger number 1.

Kata Kunci : deteksi jumlah jari, convexity defect, convex hull, pengenalan gesture tangan, virtual mouse