PENERJEMAH BAHASA ISYARAT BERBASIS KAMERA STEREO : Perancangan Perangkat Lunak pada Penerjemah Bahasa Isyarat Berbasis Kamera Stereo

YOSIA ELNINO Y, Anugerah Galang Persada, S.T., M.Eng;Dr.Eng. Igi Ardiyanto, S.T., M.Eng.

2020 | Skripsi | S1 TEKNOLOGI INFORMASI

Kesulitan berkomunikasi menimbulkan dampak yang cukup signifikan terutama dalam kebutuhan sosial manusia salah satunya dialami oleh penyandang tunarungu. Dalam berkomunikasi Teman Tuli atau mereka mengandalkan bantuan bahasa isyarat. Namun teman dengar kesulitan dalam berkomunikasi dengan bahasa isyarat karena keterbatasan mereka dalam mengetahui bahasa isyarat tertentu. Maka dari itu, perlu ada sebuah media untuk menjembatani komunikasi antara tunarungu dan orang normal yang tidak mengerti bahasa isyarat. Pada Capstone Project ini dikembangkan aplikasi untuk menerjemahkan bahasa isyarat berbasis kamera stereo yang dapat menyelesaikan permasalahan komunikasi umum pada teman tuli. Teknologi dalam aplikasi ini akan memanfaatkan machine learning dan klasifikasi hierarkis. Masukkan dari sistem pengklasifikasi bahasa isyarat adalah data tangan yang diekstrak dari kamera stereo. Selanjutnya data-data tersebut akan diproses dalam pemrosesan machine learning untuk dilakukan pengklasifikasian. Hasil dari pengklasifikasian data tersebut akan ditampilkan dalam bentuk teks ke antarmuka perangkat lunak. Dari hasil pengujian yang dilakukan didapatkan hasil untuk kebutuhan fungsional sistem telah terpenuhi dengan baik, namun tingkat akurasi terjemahan masih harus ditingkatkan lagi. Dari segi kebergunaan, nilai System Usability Scale (SUS) adalah 58,5 (Marginal low). Dari segi pengalaman pengguna, sistem telah cukup baik dalam hal daya tarik, ketepatan, stimulasi, dan kebaruan. Namun efisiensi dan kejelasan sistem masih perlu ditingkatkan lagi. Sedangkan dari hasil pengujian algoritma klasifikasi disimpulkan bahwa hierarchical classification memiliki akurasi yang lebih tinggi yaitu 67,7% dengan metode pengklasifikasi Light GBM. Pengujian algoritma klasifikasi dengan pengguna langsung juga dilakukan dan mendapatkan hasil akurasi sebesar 61,4%.

Communication difficulties have a significant impact especially in human social needs which one of them is experienced by the hearing impaired. In communicating they or people with hard of hearing rely on sign language. However, hearing people are having difficulties in using sign language for communication because of their limitations in knowing some sign languages. Therefore, there needs to be a medium to bridge the communication between the hearing impaired and hearing people who do not understand sign language. In this capstone project, we developed an application for translating sign language based on stereo-depth camera. We use machine learning and hierarchical classification as the main technology for the application. The application will process the inputs in a form of hand data which is extracted by stereo-depth camera. The hand data will be classified by machine learning into the appropriate class. The result of the classification will be shown in a form of text. The functionality test shows that the functional requirements have been accomplished, although the accuracy for the sign language translation needs to be improved. The usability test shows that the System Usability Scale of the application is in the level of marginal low. In terms of user experience shows that the system is quite good at attractiveness, stimulation, accuracy, and novelty, although the system efficiency and clarity need to be improved. The result of the classification algorithm evaluation shows that hierarchical classification gets the accuracy of 67.7% by using Light GBM as the classification method. The classification algorithm is also tested with the input directly from user and it gets the accuracy of 61.4%.

Kata Kunci : Bahasa isyarat,Komunikasi,Tunarungu,Kamera Stereo,Machine Learning