SISTEM IDENTIFIKASI BAHASA ISYARAT INDONESIA (BISINDO) STATIS MENGGUNAKAN MEDIAPIPE HANDS DAN METODE LOGISTIC REGRESSION

MOCHAMAD RAFLI R, Ir. Nazrul Effendy, S.T., M.T., Ph.D., IPM.; Ir. Nopriadi, S.T., M.Sc., Ph.D., IPM.

2022 | Skripsi | S1 TEKNIK FISIKA

Adanya suatu sistem yang mampu menerjemahkan bahasa isyarat dapat membantu kelompok masyarakat yang menggunakan bahasa isyarat untuk berkomunikasi dengan orang lain. Beberapa penelitian telah mengembangkan sistem identifikasi bahasa isyarat untuk American Sign Language (ASL). Ada juga sistem isyarat yang digunakan dalam keseharian oleh kelompok masyarakat tuna rungu di Indonesia yaitu Bahasa Isyarat Indonesia (BISINDO). Penelitian mengenai sistem identifikasi BISINDO saat ini tidak sebanyak ASL. Oleh karena itu pada penelitian ini dikembangkan sistem identifikasi isyarat untuk BISINDO. Sistem identifikasi BISINDO pada penelitian ini dikembangkan dengan memanfaatkan MediaPipe Hands dan metode logistic regression dalam mengidentifikasi isyarat tangan. Hasil penelitian yang diperoleh terdapat nilai akurasi model machine leraning yang dikembangkan, f1-score dan confusion matrix. Hasil akurasi uji dari proses training model bernilai 99,74% untuk komposisi 80% data latih dan 20% data uji. Pada pengujian real-time dilakukan 5 variasi jarak pengujian dari kamera dengan memperagakan setiap isyarat BISINDO masing-masing sebanyak 3 kali. Akurasi rerata dari pengujian real-time yang diperoleh bernilai 97,57%.

The existence of a system that can translate sign language can help community groups who use sign language to communicate with other people. Several studies have developed a sign language identification system for American Sign Language (ASL). There is also a sign system used in daily by deaf community groups in Indonesia, namely the Indonesian Sign Language (BISINDO). Research on the current BISINDO identification system is not as much as ASL. Therefore, a sign language identification system for BISINDO is developed in this research. The BISINDO identification system in this research uses MediaPipe Hands and logistic regression method to identify the hand gesture. The results are the accuracy values of the machine learning model, f1-score, and confusion matrix. The test accuracy results from the training model process is 99.74% for the composition of 80% of training data and 20% of testing data. In real-time testing involved performing tree variants of the test distance from the camera by performing each sign in BISINDO tree times each. The real-time test accuracy attained is 97.57%.

Kata Kunci : sistem identifikasi bahasa isyarat, Bahasa Isyarat Indonesia, MediaPipe Hands, logistic regression