SISTEM PENGENAL ISYARAT TANGAN UNTUK MENGENDALIKAN GERAKAN ROBOT BERODA MENGGUNAKAN CONVOLUTIONAL NEURAL NETWORK

Habib Astari Adi, Ika Candradewi, S.Si., M.Cs.

2019 | Skripsi | S1 ELEKTRONIKA DAN INSTRUMENTASI

Saat ini, Interaksi manusia dan komputer umumnya dilakukan dengan menggunakan remote control. Pendekatan ini cenderung tidak praktis pada pengendalian robot beroda karena harus selalu membawa alat perantara selama pengendalian dilakukan. Penggunaan kamera dan metode pengolahan citra digital memungkinkan manusia untuk berinteraksi dengan komputer menggunakan isyarat tangan. Penerapan pengenalan isyarat tangan menggunakan teknik pengolahan citra digital dan machine learning dalam proses pengendalian robot beroda akan mempermudah pengendalian robot beroda karena pengendalian tidak lagi membutuhkan alat perantara. Dalam penelitian ini, citra isyarat tangan diambil menggunakan kamera kemudian akan dilakukan pengenalan isyarat tangan dan di proses menggunakan single board computer untuk dikenali. Hasil pengenalan diteruskan ke arduino leonardo dan motor DC untuk menggerakan dua belas gerakan robot beroda yaitu maju, mundur, belok kanan, belok kiri, putar kanan, putar kiri , diam, menghindar kanan, menghindar kiri , memutar searah jarum jam, memutar berlawanan jarum jam dan zig-zag. Metode yang digunakan dalam penelitian ini yaitu contrast stretching pada preprossesing dan Convolutional Neural Network (CNN) untuk pengenalan isyarat tangan. Metode ini diujikan dengan variasi cahaya sebesar 26-140 lux, jarak dari tangan ke kamera sejauh 120-200 cm. Sistem pengenalan isyarat tangan menggunakan metode tersebut menghasilkan akurasi sebesar 97,5%, presisi 97,57%, sensitivitas 97,5%, spsivisitas 99,77% dan f1 score 97,45%.

Currently, Human and computer interaction is generally done using a remote control. This approach tends to be impractical for wheeled robot operation because it must always carry an intermediary tool during the operation. The use of cameras and digital image processing methods allow humans to interact with computers using hand gesture. The application of hand gesture recognition using digital image processing techniques and machine learning in the control process of wheeled robots will facilitate the control of wheeled robots because control no longer requires an intermediary tool. In this study, hand image taken using a camera then will be processed using a single board computer to be recognized. The results of recognized are passed on to arduino leonardo and DC motor to control twelve wheeled robot movement that are step forward, step backward, turn right, turn left, turning right, turning left, idle, dodge right, dodge left, circling to right, circling to left and zig-zag. The method used in this study is contrast stretching for preprocessing and Convolutional Neural Network (CNN) for hand recognition. This method is tested with a variation of bright 250-400 lux, the distance from the face to the camera is 120-200cm. Hand recognition systems using this method resulting accuracy 97,5%, precision 97,57%, sensitivity 97.5%, spesificity 99,77 and f1 score 97.45%.

Kata Kunci : pengenalan isyarat tangan, pengendalian robot, deep learning, convolutional neural network