Pengenalan Bahasa Isyarat Indonesia menggunakan MediaPipe dengan Model Random Forest dan Multinomial Logistic Regression

KHRESNA PANDU I, Wahyono, Ph.D

2022 | Skripsi | S1 ILMU KOMPUTER

Menurut World Federation of the Deaf, terdapat lebih dari 300 bahasa isyarat di seluruh dunia dan 70 juta tunarungu menggunakannya, sedangkan berdasarkan Kementrian Kesehatan (2014) di Indonesia terdapat 2.5 juta tunarungu. Di sisi lain jumlah masyarakat umum yang mempunyai kemampuan untuk memahami dan menggunakan bahasa isyarat sangat terbatas. Hal ini tentu menjadi masalah karena penutur bahasa isyarat tidak dapat berkomunikasi dengan mudah dengan masyarakat umum. Terdapat beberapa penelitian sebelumnya mengenai pengenalan bahasa isyarat Indonesia tetapi memiliki keterbatasan dimana dibutuhkan perangkat khusus seperti Leap Motion Controller atau depth camera. Penelitian ini bertujuan membuat model pembelajaran mesin random forest dan logistic regression yang dapat melakukan pengenalan bahasa isyarat Sistem Bahasa Isyarat Indonesia (SIBI) menggunakan kamera RGB biasa dengan kerangka kerja MediaPipe. Model random forest memiliki asimtot pada jumlah tree 100 dengan nilai akurasi mencapai sekitar 97%. Sedangkan model logistic regression memiliki asimtot pada maksimum iterasi 250 dan L2 regularisasi dengan nilai akurasi mencapai sekitar 96%.

According to the World Federation of the Deaf, there are more than 300 sign languages worldwide and 70 million deaf use them, based on the Ministry of Health (2014) in Indonesia there are 2.5 million deaf people. On the other hand, the number of the general public who can understand and use sign language is very limited. This becomes a problem because sign language speakers can�t communicate easily to the general public. There are several previous studies regarding Indonesian language recognition but has limitations where it is necessary to a particular device such as the Leap Motion Controller or depth camera. This research aims to create a random forest machine learning model and logistic regression that can perform the sign language recognition of the Indonesian Sign Language System (SIBI) using a regular RGB camera with the MediaPipe framework. Our Random forest models got an asymptote at 100 trees with an accuracy of 97%. On the other hand, the logistic regression model has an asymptote of maximum iterations at 250 and L2 regularization that got accuracy around 96%.

Kata Kunci : Pengenalan Bahasa Isyarat, Bahasa Isyarat Indonesia, SIBI, MediaPipe.