Pengenalan Abjad Sistem Isyarat Bahasa Indonesia Menggunakan Model CNN dan CLSTM

Syeka Bagus Parikesit, Prof. Ir. Nazrul Effendy, S.T., M.T., P.h.D., IPM; Ir. Agus Arif, M.T

2025 | Skripsi | FISIKA TEKNIK

Bahasa isyarat adalah komunikasi non verbal yang diproduksi oleh gerakan tangan dan dipersepsikan oleh penglihatan. Sistem Isyarat Bahasa Indonesia (SIBI) adalah peragaan gestur bahasa isyarat dengan satu tangan yang digunakan untuk berkomunikasi oleh penyandang disabillitas tunarungu dan tunawicara Indonesia. Penelitian ini mengembangkan sistem pengenalan gestur isyarat tangan huruf SIBI statis dan dinamis. Sistem menangkap citra langsung melalui kamera sebagai sensor penglihatan menggunakan teknologi visi komputer, proses akuisisi gestur bahasa isyarat dilakukan dengan memanfaatkan OpenCV untuk pemrosesan citra dan MediaPipe Hands yang menyediakan kerangka kerja untuk deteksi dan pelacakan tangan. Sistem menggunakan model pembelajaran mendalam untuk klasifikasi bahasa isyarat huruf SIBI statis dan dinamis berdasarkan pada fitur data spasial titik kunci dan temporal riwayat titik. Data kemudian dikirim melalui fungsi pipa pemrosesan data dan dilatih dengan model pengenalan isyarat statis CNN dan pengenalan isyarat dinamis CLSTM. Model kemudian diterapkan pada sistem berbasis perangkat Nvidia Jetson Nano yang terhubung dengan webcam dan monitor untuk melakukan pengenalan bahasa isyarat SIBI secara real-time. Hasil pelatihan model dari 100 epoch menunjukkan akurasi model CNN mencapai 99,66?ngan nilai precision, recall dan f1-score 1,00 untuk gestur isyarat statis dan akurasi CLSTM mencapai 98,72?ngan nilai precision, recall dan f1-score 0.99 untuk gestur dinamis. Hasil pegujian sistem menunjukan efisiensi penggunaan sumber daya yang optimal pada CPU 1 mencapai 89,7?n CPU 2 mencapai 90,9% serta pada GPU mencapai 92,5?ngan nilai frame rate tertinggi mencapai 18 fps dan waktu respon 55,5 ms pada perangkat Nvidia Jetson Nano.

Sign language is a non-verbal communication that makes hand gestures and can be recognized by sight. Sistem Isyarat Bahasa Indonesia (SIBI) is a one-handed demonstration of sign language gestures used to communicate by deaf and speech-impaired people in Indonesia. This research develops a static and dynamic SIBI letter hand gesture recognition system. This system captures the image directly through the camera as a vision sensor using computer vision technology. The sign language gesture acquisition process is done using OpenCV for image processing and MediaPipe Hands which provides a framework for hand detection and tracking.. The system uses a deep learning model for static and dynamic SIBI letter sign language classification based on key point spatial data features and point history temporal data features. The data is then sent through the data processing pipeline function and trained with the CNN static gesture recognition model and the CLSTM dynamic gesture recognition model. The models are then applied to the Nvidia Jetson Nano device-based system connected to a webcam and monitor to perform real-time sign language classification. The results of 100 epochs training model results in CNN model accuracy reaching 99,66% with precision, recall and f1-score values of 1,00 for static gestures and CLSTM accuracy reaching 98,72% with precision, recall and f1-score values of 0,99 for dynamic gestures. The system performance results on CPU 1 reached 89,7% and CPU 2 reached 90,9% and on GPU reached 92,5% with the highest frame rate value achieved 18 fps and 55,5 ms response time on Nvidia Jetson Nano device.

Kata Kunci : SIBI, OpenCV, MediaPipe Hands, CNN, LSTM, Nvidia Jetson Nano