PENGENALAN BAHASA ISYARAT MENGGUNAKAN LEAP MOTION SENSOR DENGAN METODE FEED FORWARD NEURAL NETWORK

BAGUS ICHWAN HANIF S, Dr. Yohanes Suyanto, M.I.Kom

2021 | Skripsi | S1 ELEKTRONIKA DAN INSTRUMENTASI

Keterbatasan dalam berkomunikasi menjadi sebuah permasalahan bagi manusia sebagai makhluk sosial. Beberapa orang yang memiliki keterbatasan seperti tuna rungu ataupun tuna wicara tidak dapat memberi maupun menerima informasi layaknya orang normal. Salah satu solusi yang ditawarkan dalam masalah komunikasi ini yaitu penggunaan Bahasa Isyarat Indonesia (BISINDO). Permasalahan pada penelitian yang pernah dilakukan sebelumnya yaitu diperlukannya jarak dan area yang lebih luas untuk mendeteksi dan mengklasifikasi huruf isyarat. Penyelesaian masalah pada kasus ini dijawab dengan dilakukannya penelitian dengan memanfaatkan Leap Motion Sensor yang kemudian diolah dengan machine learning. Leap Motion Sensor dipilih karena kemampuannya dalam mendeteksi kerangka jari tangan dari jarak dekat dengan komponen kamera dan LED inframerah, serta tersedianya library oleh sensor. Pada penelitian ini, Leap Motion Sensor mengambil data jarak dari telapak tangan ke ujung jari serta posisi X, Y, dan Z pada ujung jari. Fitur-fitur tersebut selanjutnya dilakukan uji pengenalan untuk melihat kemampuan sistem dalam mendeteksi dan mengklasifikasi huruf. Selanjutnya dilakukan perhitungan performa untuk melihat performa sistem. Berdasarkan hasil pengujian serta dataset yang diambil, sistem dapat digunakan untuk mendeteksi dan mengenali huruf isyarat BISINDO. Pada sistem ini digunakan dataset sebanyak 520 buah dataset dengan rincian 20 dataset untuk masing-masing huruf. Dari dataset tersebut diperoleh nilai akurasi sebesar 96,8% dengan menggunakan ANN. Waktu komputasi dalam proses pengenalan diperoleh selama 0,516 detik.

Limitations in communication are a problem for humans as social beings. Some people with disabilities such as deaf and speech impaired cannot give or receive information like normal people. One of the solutions offered in this communication problem, especially in Indonesia, is the use of Indonesian Sign Language (BISINDO). The problem in previous research is the need for distances and a wider area to detect and classify sign letters. The solution to the problem in this case is answered by conducting research using the Leap Motion Sensor which is then processed with machine learning. The Leap Motion Sensor was chosen because of its ability to detect the finger frame from a close distance with the camera components and infrared LEDs, as well as the availability of library provided by the sensor. In this study, the Leap Motion Sensor takes data on the distance from the palm of the hand to the fingertips as well as the X, Y, and Z positions at the fingertips. These features are then carried out a recognition test to see the system's ability to detect and classify letters. Then perform performance calculations to see system performance. Based on the test results and the dataset taken, the system can be used to detect and recognize BISINDO sign letters. In this system, 520 datasets are used with details of 20 datasets for each letter. From this dataset, an accuracy value of 96.8% was obtained using ANN. The computation time in the recognition process was obtained for 0.516 seconds.

Kata Kunci : Bahasa Isyarat, Leap Motion Sensor, ANN