PENGENALAN HURUF DARI BAHASA ISYARAT INDONESIA (BISINDO) MENGGUNAKAN LEAP MOTION CONTROLLER

KRESNA MUHARRAM, Lukman Awaludin, S.Si., M.Cs.

2020 | Skripsi | S1 ELEKTRONIKA DAN INSTRUMENTASI

Komunikasi adalah proses dimana orang atau beberapa orang saling berbagi informasi agar dapat terhubung dengan lingkungan dan orang lain. Orang normal menggunakan mulut sebagai sarana untuk berkomunikasi. Namun, tunarungu atau bisu tidak bisa menggunakan mulut untuk berkomunikasi, sehingga alternatif cara yang digunakan adalah dengan bahasa isyarat seperti Bisindo yang jamak digunakan di Indonesia. Karena kesulitan yang ditimbulkan oleh perbedaan ini, dibutuhkan sistem yang mampu membaca bahasa isyarat dengan mudah dan akurat. Penyelesaian masalah pada kasus ini dijawab dengan dilangsungkannya penelitian yang menggunakan data dari jarak ruas-ruas jari yang kemudian diolah dengan machine learning. Sensor yang digunakan untuk membaca ruas jari adalah dengan Leap Motion Controller. Sensor ini dipilih karena memiliki kemampuan untuk mentransformasi data dari kamera sensor dan diubah menjadi nilai-nilai yang bisa diambil sesuai fungsi yang tersedia pada library yang disediakan oleh sensor. Pada penelitian ini, sensor mengambil data berupa sudut x, y, z dari telapak tangan ke ujung jari serta mengambil data berupa jarak dari telapak tangan ke ujung jari. Kesemua fitur tersebut akan diklasifikasi menggunakan metode kNN serta SVM. Selanjutnya dilakukan perbandingan dari hasil akurasi masing-masing metode dan hasil uji komputasi. Berdasarkan hasil pengujian serta dataset yang diambil, sistem dapat digunakan untuk menerjemahkan huruf Bisindo dengan akurasi tinggi. Pada sistem ini, dataset menggunakan 780 buah dataset dengan rincian 20 dataset untuk masing-masing huruf. Dataset tersebut menghasilkan perbandingan akurasi sebesar 96,1% jika menggunakan kNN dan 98,3% % ketika menggunakan SVM. Waktu komputasi yang dihasilkan ketika menggunakan kNN adalah berjumlah 0,015 detik dan SVM dapat memprediksi dengan jangka waktu 0,39 detik.

Communication is a process where people or people share information to connect with the environment and other people. Ordinary people use their mouth as a means of communication. However, deaf or mute cannot use their mouths to communicate, so the alternative method used is sign language such as Bisindo which is commonly used in Indonesia. Because of the difficulties from these differences, a system capable of reading sign language is needed efficiently and accurately. A solution to the problem, in this case, is answered by conducting a study that uses data from a distance of finger joints which then processed by machine learning. The sensor used to read the fingers is the Leap Motion Controller. This sensor was chosen because it can transform data from the sensor camera and convert it into values that can be taken according to the functions available in the library provided by the sensor. In this study, the sensor takes data in the form of angles x, y, z from the palm to the fingertips and retrieves data in the way of the palm's distance to the fingertip. All of these features will be classified using the kNN and SVM methods. Furthermore, a comparison is made of the results of the accuracy of each method and the results of the compilation test. Based on the test results, the collected data set and the system can translate the Bisindo letters. In this system, the dataset uses 780 datasets with details of 20 datasets for each letter. The dataset yields a ratio of 96.1% when using kNN and 98.3% when using SVM. The computation time generated when using kNN is 0.015 seconds and SVM can predict with a timeframe of 0.39 seconds.

Kata Kunci : Bisindo, Leap Motion Controller, kNN, SVM