Identifikasi Sistem Isyarat Bahasa Indonesia (SIBI) Menggunakan Mediapipe dan Model XGBOOST

Fariq Khoiru Rijal, Moh. Edi Wibowo, S.Kom.,M.Kom., Ph.D.

2024 | Skripsi | ILMU KOMPUTER

Bahasa isyarat merupakan alat komunikasi yang sangat vital bagi penyandang tunarungu, menurut WHO diperkirakan terdapat 466 juta masyarakat tunarungu. Namun demikian masih banyak masyarakat yang belum memahami bahasa isyarat, dengan begitu muncul masalah komunikasi antara penutur bahasa isyarat dengan masyarakat umum. Penelitian sebelumnya telah banyak melakukan pengujian tentang sistem pengenalan bahasa isyarat baik dengan berbagai alat khusus dan kerangka kerja MediaPipe dan menghasilkan akurasi yang variatif. Penelitian ini bertujuan membuat model pembelajaran mesin XGBoost Sistem Bahasa Isyarat Indonesia (SIBI) dengan fokus terhadap pemilihan fitur titik koordinat tangan (landmarks) dan mengeksplorasi titik sudut yan terbentuk dari landmark tangan tersebut. Penelitian ini membuat 3 skenario denan fitur yang berbeda, yaitu fitur titik, fitur sudut dan fitur kombinasi (titik dan sudut). Hasil pengujian mencapai nilai akurasi rata-rata diatas 94%. Hasil macro precision tertinggi yaitu pada pemilihan fitur kombinasi (78 fitur) yaitu mencapai 94,69?n hasil macro recall 95,67?n macro f-measure tertinggi 94,27% terdapat pada pemilihan fitur sudut (15 fitur). 

Sign language serves as a crucial communication tool for individuals with hearing impairment. According to the World Health Organization (WHO), an estimated 466 million people worldwide are deaf or hard of hearing. Despite its significance, many individuals remain unfamiliar with sign language, leading to communication barriers between sign language users and the general public. Previous research has extensively explored sign language recognition systems utilizing various specialized tools and the MediaPipe framework, achieving varying accuracy levels. This study aims to develop an XGBoost machine learning model for Indonesian Sign Language (SIBI) recognition, focusing on feature selection of hand coordinate points (landmarks) and exploring the resulting corner points. Three feature scenarios are proposed: point features, corner features, and a combination of point and corner features. The experimental results demonstrate an average accuracy of over 94%. The highest macro precision of 94.69% is achieved using the combined feature selection (78 features), while the highest macro recall of 95.67% and macro F-measure of 94.27% are obtained using the corner feature selection (15 features). 

Kata Kunci : Bahasa Isyarat, Sistem Bahasa Isyarat Indonesia, MediaPipe, XGBoost.