PROTOTYPE SISTEM PENGENAL ISYARAT JARI TANGAN ABJAD INDONESIA BERBASIS MOBILE ANDROID DENGAN MENGGUNAKAN METODE JARINGAN SARAF TIRUAN BACKPROPAGATION

ANNISA KARTIKASARI, Rudy Hartanto, Dr., Ir., M.T. ; Bimo Sunarfri Hantono, S.T., M.Eng.

2015 | Skripsi | S1 TEKNOLOGI INFORMASI

Tuna rungu maupun tuna wicara menggunakan bahasa isyarat untuk berkomunikasi dengan orang lain. Namun, tidak banyak orang normal yang mengetahui bagaimana bahasa isyarat yang mereka gunakan, sehingga membatasi komunikasi antara keduanya dan menyebabkan komunikasi berjalan tidak efektif. Oleh karena itu, diperlukan sistem pengenal isyarat jari tangan abjad berbasis mobile Android agar dapat membantu orang normal dalam belajar memahami bahasa isyarat jari tangan dimana saja dan kapan saja. Pengembangan sistem membutuhkan OpenCV sebagai library pengolahan citra yang dimanfaatkan dalam proses akuisisi citra dan deteksi posisi tangan dengan segmentasi kulit. Objek jari tangan yang tersegmentasi diekstraksi ciri menggunakan fungsi convex hull dan convexity defect. Metode pengenalan isyarat jari tangan abjad menggunakan pendekatan jaringan saraf tiruan back propagation dengan 9 neuron input, 16 neuron hidden dan 5 neuron output. Hasil pengujian sistem dapat mengenali 24 isyarat huruf statis, selain J dan Z, pada pengujian menggunakan data latih, dengan tingkat keberhasilan 90.625%. Sedangkan pada pengujian menggunakan data di luar data latih dengan Android, berhasil mengenali 15 huruf, yaitu B, C, D, F, K, L, N, O, P, Q, T, U, V, W dan Y, dengan tingkat keberhasilan 62.5%. Pada kondisi pencahayaan yang berbeda sistem ini mengalami perubahan tingkat pengenalan, sehingga dibutuhkan kondisi pencahayaan yang baik. Sistem ini masih memerlukan penyempurnaan dan pengembangan lebih lanjut agar dapat mengenali isyarat huruf lebih banyak dan akurat.

Deaf or speech impaired using sign language to communicate with others. However, not many normal people know how the sign language they used, thus limiting communication between them and lead to ineffective communication. Therefore, a finger alphabet gesture recognition system based on mobile Android is needed it to help normal people to understand the sign language anywhere and anytime. OpenCV as a library for image processing can be used for image acquisition and hand position detection with skin segmentation method. Fingers segmented object characteristics will be extracted using convex hull and convexity defect. Finger alphabet gesture recognition method using artificial neural network back propagation with 9 input neurons, 16hidden neurons and 5 output neurons. The results of testing system can recognize 24 letters static cues, besides J dan Z, on testing using training data, with recognition success 90.625%. While on testing using the data outside training data using Android, can recognize 15 letters, namely B, C, D, F, K, L, N, O, P, Q, T, U, V, W and Y, with accuracy 62.5%. In a different lighting condition, the system is experiencing changes in the level of recognition, so it required a good lighting conditions. This system still requires further refinement and development in order to recognize gestures and characters more accurately.

Kata Kunci : back propagation, jaringan saraf tiruan, isyarat jari tangan abjad, Android, OpenCV