Sistem Navigasi di Dalam Ruangan untuk Tunanetra dengan RGB-D Camera

M. RISQI UTAMA S., Widyawan, S.T., M.Sc., Ph.D.; Ir. P. Insap Santosa, M.Sc., Ph.D.

2014 | Tesis | S2 Teknik Elektro

Penelitian ini mengembangkan sistem untuk membantu tunanetra melakukan navigasi di dalam ruangan dengan menggunakan RGB-D camera. Microsoft Kinect digunakan sebagai RGB-D camera untuk mendeteksi halangan dan mengetahui jaraknya dari tunanetra, serta untuk mengenali optical glyph yang digunakan sebagai penanda petunjuk jalan/nama ruangan. Penelitian ini mengusulkan pendekatan baru yang disebut auto-adaptive thresholding untuk mendeteksi jarak halangan dari tunanetra. Jika sebuah halangan terdeteksi dan jaraknya kurang dari 1.5 m, maka sistem akan memberikan notifikasi bunyi melalui earphone. Sedangkan bila jaraknya sudah di bawah 1 m, sistem akan memberikan rekomendasi suara dengan text-to-speech untuk menghindari halangan tersebut. Begitu pula ketika sistem mengenali sebuah glyph, maka informasi terkait glyph tersebut juga akan disampaikan melalui suara. Hasil uji coba dari fungsi deteksi halangan menunjukkan rata-rata kecepatan eksekusi dan rata-rata kesalahannya adalah 12.24 ms dan 130.796 mm. Sedangkan hasil uji coba dari pengenalan glyph menunjukkan rata-rata tingkat akurasi sebesar 91% hingga jarak 1.5 m di depan Kinect untuk glyph dengan ukuran 11.5x11.5 cm2, lebih besar dari glyph yang berukuran 6x6 cm2 yang rata-rata akurasinya hanya 38.5% hingga jarak yang sama. Hasil uji coba ini juga berhasil mengeksplorasi bahwa glyph yang terdeteksi dalam kondisi miring, berkontribusi lebih besar dalam menurunkan rata-rata akurasi deteksi glyph secara keseluruhan.

This research developed an indoor navigation system for visually impaired using RGB-D camera. Microsoft Kinect, which is used as RGB-D camera, is utilized to detect obstacle and to calculate its distance from visually impaired. It's utilized as well to recognize optical glyph that is used for object marker. This research proposes a new approach called auto-adaptive thresholding to detect the obstacle. When obstacles are detected using auto-adaptive thresholding at distance less than 1.5 m, the system gives sound notification through earphone. Not only that, if the system detects obstacle at distance less than 1 m or recognizes a glyph, the system give voice recommendation using text-to-speech technology. Experimental result of obstacle detection shows that average of execution time and average of error to calculate distance of obstacle are 12.24 ms and 130.796 mm respectively. Whereas, experimental result of glyph recognition shows that the average accuracy of glyph recognition with size of 11.5x11.5 cm2 and with recognition distance up to 1.5 m in front of Kinect is 91%, higher than glyph with size of 6x6 cm2 that only reach 38.5% average accuracy up to the same distance. This experiment also indicates that tilted glyph makes bigger contribution for reducing average recognition accuracy than non-tilted glyph.

Kata Kunci : Indoor navigation system, visually impaired, RGB-D camera, obstacle avoidance, glyph recognition