Identifikasi Isyarat Tangan Statis Abjad Jari Huruf Sistem Isyarat Bahasa Indonesia Menggunakan Transfer Learning MediaPipe Hands dan Jaringan Saraf Tiruan

MAHMUD FAUZI, Ir. Nazrul Effendy, S.T., M.T., Ph.D., IPM; Ir. Agus Arif, M.T.

2022 | Skripsi | S1 TEKNIK FISIKA

Komunikasi paling efektif untuk orang yang mengalami gangguan pendengaran adalah komunikasi yang menggunakan bahasa isyarat baik itu gerakan isyarat tangan maupun isyarat tubuh. Namun, tidak semua orang memahami arti dari isyarat tersebut. Oleh karena itu dibutuhkan suatu penerjamah bahasa isyarat. Penerjemah bahasa isyarat dapat dilakukan oleh manusia atau memanfaatkan teknologi. Salah satu teknologi yang dapat digunakan adalah machine learning. Pada penelitian ini dikembangkan model machine learning untuk mengenali isyarat tangan statis abjad jari huruf Sistem Isyarat Bahasa Indonesia (SIBI). Model tersebut dikembangkan dengan metode transfer learning dengan model dasar MediaPipe Hands yang dilengkapi dengan metode klasifikasi jaringan saraf tiruan. Hasil penelitian ini adalah model machine learning untuk mengenali isyarat tangan statis abjad jari huruf SIBI dengan akurasi 91,12%; presisi 0,9188; recall 0,9111; dan f1-score 0,9100.

The most effective communication for people with a hearing loss is communication that uses a sign language, be it hand gestures or body cues. However, not everyone understands the sign language. Therefore, we need a sign language interpreter. Sign language translation can be done by humans or using a technology. One technology that can be used is machine learning. In this research, a machine learning model has been developed to recognize static hand gestures alphabet of the Indonesian Sign Language System (SIBI). The model was developed using the transfer learning of MediaPipe Hands. ANN method was chosen for the classification process. In this research, a machine learning model was obtained to recognize the static hand gesture of the SIBI alphabet with an accuracy of 91.12%, precision of 0.9188, recall of 0.9111, and f1-score of 0.9100.

Kata Kunci : bahasa isyarat, SIBI, jaringan saraf tiruan, transfer learning