KLASIFIKASI ARAH TATAPAN MATA BERDASARKAN CITRA MATA DAN ESTIMASI POSISI KEPALA MENGGUNAKAN CONVOLUTIONAL NEURAL NETWORK

SAHALA WAHYU WARDANA, Drs. Bambang Nurcahyo Prastowo, M.Sc.

2021 | Skripsi | S1 ELEKTRONIKA DAN INSTRUMENTASI

Arah pandangan mata merupakan posisi dimana mata melihat obyek tertentu. Dalam perkembangannya, estimasi arah pandangan mata dapat diketahui melalui scleral contact lens, electrooculography yang menempel pada tubuh pengguna. Penggunaan alat yang menempel di tubuh dapat mengganggu gerak pengguna, sehingga diperlukan sensor yang tidak menempel pada tubuh pengguna. Sensor yang dapat digunakan tanpa menempel di tubuh pengguna adalah kamera inframerah dan webcam. Melalui sensor kamera inframerah didapatkan refleksi kornea mata untuk digabungkan dengan pengolahan citra digital dalam menentukan arah pandangan mata. Namun, dalam implementasinya tergolong mahal, sehingga sebagai gantinya dapat menggunakan sensor webcam. Melalui webcam data latih dikumpulkan dari 8 orang. Setiap orang diambil videonya ketika melihat kelas yang tertampil pada user interface di layar 24-inch. Video diekstrak tiap frame untuk mendapatkan gambar mata kiri dan kanan dengan metode face landmark dan estimasi posisi kepala didapatkan dengan projection matrix dari model 2D dan 3D wajah. Data yang terkumpul dilatih dengan CNN dengan variasi hyperparameter learning rate dan epoch. Hasil akurasi pelatihan terbaik mencapai 93,79% dan 96,16% pada 16 dan 9 kelas dengan variasi learning rate 1 x 10^(-6) dan nilai epoch 160. Model ini yang digunakan untuk klasifikasi realtime. Pengujian realtime menghasilkan akurasi 70,76% dan 88,20% pada 16 dan 9 kelas. Waktu rata-rata yang diperlukan untuk mengklasifikasikan arah pandangan mata untuk 16 dan 9 kelas adalah 0,787 dan 0,776 detik.

ye gaze is a position where is eyes look some object. In the development of eye gaze estimation, there are devices to determine eye gaze using scleral contact lens and, electrooculography that wear in human body. Devices attached to the body can disturb the user's movement, so a sensor that is not attached to the user's body is needed. The sensor that can be used without wear in the human body are infrared camera and webcam. Through the infrared camera, the reflection of the cornea of the eyes can be combined with digital image processing for determining the direction of the eye gaze. However, the implementation is quite expensive, so there is one alternative to use a webcam as a sensor. Through the webcam, a set of training data were collected from 8 people. Everyone takes a video when they see the class displayed on the user interface of the 24-inch screen. The video was extracted each frame to get the left and right eye images using the face landmark method and the estimation of the head position obtained using the projection matrix of 2D and 3D of facial models. The collected data were trained with CNN with variations of learning rate and epoch. The best accuracy of trained models reaches 93,79% and 98,16% in 16 and 9 classes, the variations of hyperparameter that were used for learning rate 1 x 10^(-6) and number of epochs 160. These models are used for real-time classification. The real-time test is conducted with 5 persons, then the result of accuracy reaches 70,76% and 88,20% for 16 and 9 classes. The average of time to classify of eye gaze 16 classes was 0,787 second and for 9 classes took 0,776 second.

Kata Kunci : eye gaze, convolutional neural network, deep learning, face landmark