HAND GESTURE RECOGNITION MENGGUNAKAN METODE SEGMENTASI WARNA KULIT DAN CENTER OF GRAVITY UNTUK TRANSLASI BAHASA ISYARAT SECARA REAL-TIME

Wawan Kurniawan, S.Si, Drs. Agus Harjoko, M.Sc, Ph.d

2012 | Tesis | S2 Ilmu Komputer

Bahasa isyarat (sign language) merupakan bahasa yang menggunakan gerakan tangan dan gerak bibir untuk menjelaskan sebuah arti. Untuk itu perlu adanya dibuat suatu sistem yang dapat menghubungkan penderita cacat tunarungu dengan manusia normal. Penelitian aplikasi pengenalan bahasa isyarat secara real-time banyak mengalami kendala, faktor-faktor yang mempengaruhi antara lain, besarnya tingkat kemiripan data citra latih, proses pelacakan (tracking) terutama pada segmentasi objek dengan latar belakang (background) sehingga hasil capture tidak terinterprestasikan maksimal. Penelitian ini menggunakan metode pelacakan (tracking) yakni segmentasi warna kulit dan center of gravity (COG) berhasil melacak (tracking) gerakan tangan dari setiap frame, serta metode deteksi tepi dan PCA sebagai ekstraksi ciri, dan pengenalannya menggunakan pendekatan jaringan syaraf tiruan Learning Vector Quantification (LVQ) dan back propagation. Hasil dari pengujian sistem ini dapat mengenali 26 huruf isyarat, tingkat akurasi pengenalan isyarat tangan kanan dan isyarat tangan kiri adalah 83,43% dan 82,40%. Pada berbagai kondisi pencahayan dan jarak objek ke kamera, sistem ini mengalami perubahan tingkat pengenalan sehingga diperlukan jarak ideal dan tingkat penerangan yang baik. Aplikasi ini perlu adanya pengembangan lebih lanjut terutama pada proses pelacakan dan identifikasi.

Sign language is a language that uses hand gestures and lip movements to explain the meaning. For that there needs to be created a system that can connect the disabled with normal human hearing impairment. The study of sign language recognition applications in real-time experience any problems, the factors that affect, among others, high level of similarity of training image data, the process of tracking, especially on the segmentation of objects with the background so the results do not capture the maximum interpretation. This research uses the tracking method the skin color segmentation and center of gravity (COG) managed to track the hand movements of each frame, as well as edge detection method and the PCA as feature extraction, and familiarity with using artificial neural network approach to Learning Vector Quantification (LVQ) and back propagation. The results of testing this system can recognize 26 letters of recognition cues with recognition accuracy the right hand and the left hand gesture was 83.43% and 82.40%. In a variety of lighting conditions and object distance to the camera, the system is experiencing changes in the level of recognition so that the required distance of an ideal and a good level of lighting. This application is the need for further development especially in the process of tracking and identification.

Kata Kunci : Segmentasi, Pelacakan, Ekstraksi ciri