Pengenalan Kosakata pada Sistem Isyarat Bahasa Indonesia Menggunakan MediaPipe dan LSTM dengan Freedom Settings
Devina Reva Kusuma, Ika Candradewi, S.Si., M.Cs.; Dr. Yohanes Suyanto, M.I.Kom.
2023 | Skripsi | ELEKTRONIKA DAN INSTRUMENTASI
Ketidakmampuan penyandang tuli untuk berkomunikasi dengan orang normal dapat menyebabkan penyandang tuli mengalami kejadian traumatis dan mendapat perlakuan buruk dari lingkungan sekitarnya sehingga mereka berpotensi mengalami depresi dan terkena gangguan mental. Pada penelitian-penelitian pengenalan bahasa isyarat sebelumnya menggunakan input objek yang menghadap ke kamera. Hal ini menjadi hambatan apabila diaplikasikan pada layanan kesehatan mental untuk penyandang tuli karena pasien dapat merasa terganggu dan terdistraksi sehingga memungkinkan berkurangnya intimasi dan kemauan untuk mengungkapkan diri, sehingga emosi dan perasaan yang disampaikan oleh pasien tidak tersampaikan dengan baik.
Pada penelitian ini, sistem akan mengenali kosakata SIBI (Sistem Isyarat Bahasa Indonesia) yaitu saya, kamu, ibu, ayah senang, sedih, marah, malu, takut, dan jijik. Sistem dibuat dengan freedom settings, yaitu aturan pengambilan gambar ditiadakan sehingga pasien penyandang tuli yang mengakses layanan kesehatan mental dapat mengatur posisi tubuhnya dengan nyaman sehingga dapat menyampaikan perasaannya dengan baik dan tidak terdistraksi dengan aturan posisi tubuh. MediaPipe Holistic merupakan metode yang digunakan untuk mendeteksi pose tubuh, jemari tangan, dan wajah, sedangkan LSTM sebagai pengklasifikasi bahasa isyarat. Hasil evaluasi sistem terhadap data uji menghasilkan peforma sistem dengan akurasi, presisi, recall, dan F1-score masing-masing sebesar 99,25%. Pada pengaplikasian sistem secara real-time, sistem berhasil mencapai rata-rata akurasi sebesar 89,06%, presisi 88,62%, recall 89%, dan F1-score 88,81%.
The inability of deaf people to communicate with normal people can cause deaf people to experience traumatic events and receive bad treatment from their surroundings so that they have the potential to experience depression and develop mental disorders. There have been many studies on sign language recognition that have been carried out in recent years, but these studies use the object facing the camera rule as input. This is an obstacle when applied to mental health services for the deaf because patients can feel disturbed and distracted which allows for reduces intimacy and willingness to express themselves, so that the emotions and feeling conveyed by patients are not conveyed properly.
In this study, the system will recognize SIBI (Sistem Isyarat Bahasa Indonesia) vocabularies, namely me, you, mother, father, happy, sad, angry, ashamed, afraid, and disgusted. The system is made with freedom settings. With freedom settings, shooting rules are removed so that deaf patients who access mental health services can adjust their body position comfortably so they can convey their feelings well and are not distracted by body position rules. MediaPipe Holistic is a method used to detect body poses, fingers, and faces, while LSTM is a sign language classifier. the results of the system evaluation of the test data resulted in system performance with accuracy, precision, recall, and F1-score each off 99.25%. In real-time system application, the system managed to achieve an average accuracy of 89.06%, 88.62% precision, 89% recall, 88.81?-score.
Kata Kunci : SIBI, LSTM, MediaPipe Holistic, freedom settings