Sistem Pengenalan Sistem Isyarat Bahasa Indonesia (SIBI) Menggunakan Convolutional Neural Network Berbasis Google Coral

ARIO RIZKI FAUZAN A, Ir. Nazrul Effendy, S.T., M.Eng., Ph.D., IPM; Dr. Ir. Nur Abdillah Siddiq, S.T.

2023 | Skripsi | S1 TEKNIK FISIKA

Bahasa isyarat diciptakan untuk membantu komunikasi dalam komunitas tunarungu. Salah satu bahasa isyarat yang ada di Indonesia adalah Sistem Isyarat Bahasa Indonesia (SIBI). Meskipun demikian, komunikasi antara komunitas tunarungu dengan masyarakat umum terbatas karena banyak orang yang tidak tahu tentang bahasa isyarat. Oleh karena itu, dibutuhkan jasa penerjemah bahasa isyarat untuk membantu komunikasi tersebut. Seiring dengan berjalannya waktu, teknologi seperti machine learning dapat digunakan untuk membantu proses penerjemahan. Pada penelitian ini dirancang sebuah sistem untuk mengenali isyarat tangan statis huruf SIBI. Sistem ini menggunakan model machine learning yang dikembangkan dengan proses transfer learning dengan model dasar MobileNetV2 dan metode klasifikasi Convolutional Neural Network. Model ini kemudian diterapkan pada perangkat Google Coral Dev Board yang terhubung dengan kamera dan komputer atau monitor. Sistem ini digunakan untuk melakukan klasifikasi bahasa isyarat pada kondisi ruangan gelap dan terang. Hasil penelitian yang didapatkan adalah model CNN yang dibangun memiliki akurasi 97,16% dengan ukuran batch size 16. Sistem ini memiliki performa terbaik pada jarak 30 cm di ruangan terang dengan akurasi 86,67% dan waktu respons rata-rata sistem 4 ms.

Sign language is created to aid communication within the deaf community. One of the sign languages in Indonesia is the Indonesian Language Sign System (SIBI). However, communication between the deaf community and the public is limited because many people doesn’t understand sign language. Therefore, the services of a sign language interpreter are needed to help with this communication. Over time, technology such as machine learning can be used to assist the translation process. In this research, a system was designed to recognize static hand signals for SIBI letters. This system uses a machine learning model developed by a transfer learning process with MobileNetV2 as the base model and using Convolutional Neural Network classification method. This model is then applied to Google Coral Dev Board devices connected to a camera and computers or monitors. This system was then used to classify sign language in dark and bright room conditions. The results obtained are that the CNN model built has an accuracy of 97.16% with a batch size of 16. The system had its best performance in a brightly lit room at 30 cm distance with an accuracy of 86,67%. The system has an average system response time of 4 ms.

Kata Kunci : bahasa isyarat, SIBI, convolutional neural network, Google Coral