Prototipe Sistem Pengenalan Bahasa Isyarat Abjad Finger spelling

IR. RUDY HARTANTO, M.T., Prof. Adhi Susanto, M.Sc.,Ph.D.;Ir. P. Insap Santosa, M.Sc.,Ph.D.

2015 | Disertasi | S3 Ilmu Teknik Elektro

Bahasa isyarat menggunakan gestur sebagai ganti dari suara tutur untuk berkomunikasi. Gestur adalah suatu bentuk bahasa tubuh atau komunikasi non-verbal. Gestur yang umum digunakan merupakan kombinasi atas bentuk/pola tangan, orientasi dan gerakan tangan, ekspresi muka, dan pola bibir. Setiap daerah atau negara mempunyai bahasa isyarat yang berbeda, termasuk Indonesia. Salah satu bagian dari bahasa isyarat yang diperagakan hanya dengan menggunakan gestur tangan saja disebut dengan bahasa isyarat finger spelling. Digunakan untuk menginformasikan nama diri, nama kota atau nama obyek yang tidak dikenal dengan cara mengeja abjad demi abjad menggunakan gestur tangan. Pada dasarnya bahasa isyarat finger spelling sudah dapat digunakan untuk berkomunikasi dengan komunitas tuna rungu. Namun pada umumnya jarang masyarakat yang memahami bahasa isyarat sehingga mengalami kesulitan dalam berinteraksi dengan komunitas tuna rungu. Oleh karena itu diperlukan suatu penerjemah bahasa isyarat abjad finger spelling. Sudah banyak penelitian tentang pengenalan bahasa isyarat yang telah dilakukan. Namun sebagian besar masih menggunakan piranti sensor yang harus dipakai oleh peraga bahasa isyarat. Sedangkan penelitian yang menggunakan kamera sehingga peraga tidak perlu mengenakan sensor, sebagian besar masih belum dapat digunakan secara waktu nyata. Penelitian ini mengusulkan metode baru dan sederhana pada pengenalan bahasa isyarat abjad finger spelling yang dapat digunakan secara waktu nyata. Ide dasarnya adalah membagi proses pengenalan menjadi dua tahap. Tahap pertama fokus pada proses deteksi gestur tangan, dengan menggunakan ruang warna YCrCb yang dikombinasikan dengan deteksi warna kulit untuk membentuk citra yang tersegmentasi. Deteksi kontur digunakan untuk menentukan dan menyimpan area tangan. Tahap kedua adalah proses pengenalan isyarat abjad finger spelling dengan menggunakan algoritme SURF dan algoritme Norm L2 yang lebih sederhana untuk mengekstrak fitur titik kunci dan melakukan klasifikasi terhadap citra isyarat gestur tangan dengan membandingkan dengan citra isyarat pada basis data. Pengujian dilakukan dengan menggunakan tiga peraga isyarat dan dengan tiga ukuran citra basis data yaitu 128x128, 170x170, dan 200x200 piksel. Untuk setiap abjad dilakukan pengujian sebanyak 30 kali. Selanjutnya dilakukan pengujian untuk membentuk kata atau kalimat dalam bahasa Indonesia. Berdasarkan hasil pengujian, sistem yang dibuat sudah mampu untuk mengenal isyarat finger spelling dan menerjemahkan menjadi kata atau kalimat bahasa Indonesia secara waktu nyata dengan tingkat persentase keberhasilan mencapai rata-rata 74,21 %.

Sign language uses gestures instead of speech as a way to communicate between people. Gesture is a form of body language or non-verbal communication. The most common gestures that are used are the combination of hand pattern, hand movement and orientation, facial expression, and also lip pattern. Each region and country has their own sign language that makes it different for every region and country, including Indonesia. Finger spelling is a part of sign language that is presented only by using finger and hand gesture. Finger spelling is usually used to deliver a name, a name of a town, even unknown object by spelling every letter one by one with finger and hand gesture. Basically, finger spelling can already be used to communicate with the deaf community, but the amount of the normal people who learn the sign language to communicate with this disability is still too low. Therefore, the need of ‘something’ as a translator to translate sign language into written or oral language becomes really urgent. There have been a lot of research about the sign language recognition that have been done. However, most of these research still used a sensor device that should be used by the sign language presenter. Research that use a camera in place of the sensor device are still too rare that can be counted by fingers, and most of it can not be used in real time. Therefore, this study proposed a new and simpler method on alphabet recognition of finger spelling which is can be used in real time. The basic idea was to divide the recognition process into two stages. The first stage focused on hand gesture detection using the YCrCb color space that was combined with skin color detection to form a segmented image, followed by a contour detection to determined the hand area. The second stage was the classification of finger spelling alphabet gestures using SURF algorithms and simpler Norm L2 algorithms to extract key point features on hand gesture image and classify it by compare it with the images of the gestures in database. This test was carried out by using three sign language presenters and three sizes of database image which were 128x128, 170x170, and 200x200 pixels. The alphabet was tested for 30 times each. The last test was to create words or sentences in Indonesian through finger spelling sign. Based on the experimental results, the system that were created had been able to recognize gestures and finger spelling sign into Indonesian words and sentences in real time with a success rate reached 74.21% in average.

Kata Kunci : finger spelling; waktu nyata; ruang warna YCrCb; deteksi warna kulit, deteksi kontur; fitur titik kunci, SURF, Norm L2