Sistem Pengenalan Bahasa Isyarat BISINDO Menggunakan EfficientDet Berbasis Google Coral

GILANG QHISMU ADJIE, Prof. Ir. Nazrul Effendy, S.T., M.T., Ph.D., IPM.; Ir. Nopriadi, S.T., M.Sc., Ph.D., IPM.

2025 | Skripsi | FISIKA TEKNIK

Penyandang disabilitas terkhususnya teman Tuli menghadapi tantangan dalam berkomunikasi dengan masyarakat luas. Alat penting bagi mereka adalah Bahasa Isyarat Indonesia (BISINDO) yang berfungsi sebagai sarana komunikasi utama komunitas Tuli di Indonesia. Terbatasnya pengetahuan masyarakat umum mengenai BISINDO menyebabkan komunikasi sering kali sulit terjalin. Oleh karena itu, teknologi seperti deep learning dapat menjembatani kesenjangan ini dengan mengembangkan sistem pengenalan bahasa isyarat dalam memenuhi aksesibilitas dan inklusivitas terhadap komunitas Tuli.

Penelitian ini merancang sistem pengenalan isyarat abjad BISINDO menggunakan metode transfer learning dengan model deteksi objek EfficientDet. Model tersebut kemudian diluncurkan dan diuji pada sistem tertanam Google Coral Dev Board yang terhubung dengan kamera USB serta tampilan layar berupa monitor atau web untuk mendeteksi gerakan isyarat tangan BISINDO secara real-time.

Sistem yang dibangun menggunakan model EfficientDet-Lite berhasil mengenali isyarat tangan abjad BISINDO. Model EfficientDet-Lite2 dilatih dengan konfigurasi fine-tuning dengan 2.336 dataset yang terdiri dari 26 kelas citra BISINDO dan menunjukkan performa optimal pada data uji dengan nilai mAP sebesar 81,74%, presisi 91%, recall 88%, f1-score 89%, dan akurasi sebesar 88,21%. Hasil pengujian pada Google Coral Dev Board menunjukkan performa real-time dengan nilai rata-rata FPS 4,72, waktu inferensi 183,01 milisekon, dan latensi sistem keseluruhan 205,92 milisekon.

Communicating with the general public may be difficult for those with impairments, particularly those who are Deaf. Bahasa Isyarat Indonesia (BISINDO), the main means of communication for the country's Deaf people, is a valuable resource for them. Due to the general public's inadequate understanding of sign language, communication is sometimes challenging. In order to meet the needs of the Deaf community and ensure accessibility and inclusivity, deep learning technologies can be used to close this gap by developing a sign language recognition system.

Using an EfficientDet object detection model with the transfer learning approach, this research develops a BISINDO alphabet sign recognition system. Afterwards, the model was implemented and evaluated on an integrated Google Coral Dev Board system connected to a USB camera and monitor or web display to recognize BISINDO gestures in real-time.

The system built using the EfficientDet-Lite model successfully recognizes BISINDO alphabetic hand gestures. The EfficientDet-Lite2 was fine-tuned with 2,336 datasets consisting of 26 BISINDO image classes and showed optimal performance on test data with an mAP value of 0.8174, precision 0.91, recall 0.88, f1-score 0.89, and accuracy of 88.21%. The test results on the Google Coral Dev Board show real-time performance with an average FPS value of 4.72, latency of 205.92 ms, and inference time of 183.01 ms.

Kata Kunci : BISINDO, EfficientDet, Google Coral Dev Board, Pengenalan Isyarat Tangan