PERANCANGAN SISTEM REKOGNISI BAHASA ISYARAT INDONESIA (BISINDO) MENGGUNAKAN MEDIAPIPE DENGAN MODEL LSTM TERHADAP BACKGROUND KOMPLEKS DALAM PENGUJIAN REALTIME

Muhammad Kanzoon Mekhfy Asyraq Rekza, Dr. Sigit Priyanta, S.Si., M.Kom; Wahyono, S.Kom., Ph.D.

2025 | Skripsi | ILMU KOMPUTER

Bahasa isyarat merupakan cara yang paling efektif untuk berkomunikasi dengan komunitas Tuli. Namun, kurangnya pemahaman masyarakat non-Tuli akan bahasa isyarat menjadi hambatan yang besar dalam interaksi antara komunitas Tuli dan non-Tuli. Sistem rekognisi bahasa isyarat yang dapat diandalkan dapat menjadi penjembatan komunikasi antara komunitas Tuli dan non-Tuli serta mampu menjadi sistem pendukung pembelajaran bahasa isyarat bagi masyarakat non-Tuli. Penelitian ini bertujuan untuk mengembangkan sistem rekognisi Bahasa Isyarat Indonesia (BISINDO) berbasis Mediapipe Holistic dan model Long Short-Term Memory (LSTM) untuk pengujian data video dinamis pada kondisi background kompleks secara real-time.

Hasil penelitian menunjukkan bahwa sistem yang dikembangkan pada konfigurasi optimal mampu mencapai akurasi validasi sebesar 100?n loss validasi sebesar 0,66?ngan performa model pada pengujian real-time yang sangat memuaskan. Meski demikian, pada pengujian real-time didapatkan bahwa posisi relatif tangan terhadap tubuh dan kecepatan pemeragaan gestur dinamis menjadi faktor yang memengaruhi potensi misrekognisi. Selain itu, posisi sebelum dan sesudah gerakan dinamis yang menyerupai gerakan dari label lain juga dapat menjadi potensi misrekognisi perlu diperhatikan.

Hasil ini menunjukkan bahwa pendekatan berbasis Mediapipe Holistic dan LSTM cukup efektif dalam menangani rekognisi bahasa isyarat pada kondisi nyata pada background yang kompleks dan dalam pengujian real-time.

Sign language is one of the most effective ways to communicate with the deaf community. However, the lack of understanding of sign language among hearing individuals has created significant barriers in interactions between the deaf and hearing communities. A reliable sign language recognition system could serve as a valuable bridge to improve communication between these groups and serve as a supporting system for non-Deaf people to learn sign language. This research aims to develop an Indonesian Sign Language (BISINDO) recognition system based on Mediapipe Holistic and Long Short-Term Memory (LSTM) model for testing dynamic video data in real-time under complex background conditions.

The results show that the system developed with optimal configuration achieved a validation accuracy of 100\% and validation loss of 0.66\%, with highly satisfactory model performance in real-time testing. However, real-time testing revealed that the relative position of hands to the body and the speed of dynamic gesture demonstration are factors that influence potential misrecognition. Additionally, the positions before and after dynamic movements that resemble movements from other labels can also lead to potential misrecognition that needs to be considered.

These results indicate that the approach based on Mediapipe Holistic and LSTM is quite effective in handling sign language recognition in real conditions with complex backgrounds and in real-time testing.

Kata Kunci : Rekognisi Bahasa Isyarat, BISINDO, Mediapipe Holistic, LSTM