Peningkatan Kinerja Klasifikasi Data Gerakan Mata pada Sensor Eye Tracking Menggunakan Neural Architecture Search (NAS)

Istiqomah Uswatun Hasanah, Dr.Eng. Ir. Sunu Wibirama, S.T., M.Eng., IPM.; Ir. Oyas Wahyununggoro, M.T., Ph.D

2024 | Skripsi | S1 TEKNIK BIOMEDIS

Pandemi COVID-19 telah mendorong adopsi teknologi touchless atau Zero User Interface (Zero UI) untuk meminimalisir penyebaran virus, salah satunya melalui teknologi pelacakan mata (eye tracking). Penelitian sebelumnya menunjukkan bahwa teknologi pelacakan mata tidak hanya efektif dalam mencegah penyebaran virus, tetapi juga meningkatkan aksesibilitas bagi penyandang disabilitas dan memiliki potensi dalam aplikasi medis, seperti deteksi dini gangguan spektrum autisme dan skrining disleksia.

Sistem pelacakan mata dalam teknologi Zero UI memerlukan peningkatan akurasi dan keandalan dalam deteksi dan klasifikasi gerakan mata. Pendekatan data-driven dengan deep learning menunjukkan potensi besar dalam hal ini. Namun pengembangan model deep learning membutuhkan pengetahuan profesional yang luas, pengujian yang ekstensif dan cukup memakan waktu. Neural Architecture Search (NAS) menawarkan solusi dengan cara otomatis menemukan arsitektur jaringan terbaik. Arsitektur jaringan dihasilkan oleh Recurrent Neural Network (RNN) yang bertindak sebagai agen pembelajar. Reinforce gradient memperbarui parameter agen berdasarkan hasil evaluasi jaringan yang dihasilkan pada dataset validasi, yang diberikan kembali ke agen sebagai hadiah (reward). Penelitian ini menggunakan metode parameter sharing untuk membantu mempercepat proses pencarian.

Penelitian ini mengevaluasi model deep learning Convolutional Neural Network (CNN) dan Multilayer Perceptron (MLP), serta mengoptimasi arsitektur MLP menggunakan NAS pada data gerakan mata dari dataset GazeCom (Gaze Communication) yang mencakup fixation, saccade, smooth pursuit, dan noise. Pendekatan dengan pencarian arsitektur NAS berhasil meningkatkan klasifikasi gerakan mata dengan f1-score tinggi, termasuk fixation (0,8861), smooth pursuit (0,52148), dan noise (0,33585). Evaluasi secara komprehensif menunjukkan peningkatan yang signifikan pada nilai f1-score makro MLP setelah dioptimasi dari 0,61073 menjadi 0,62634, didukung oleh hasil uji t-test dengan P-value sebesar 0,000295 (dengan tingkat signifikansi 0,05). Hasil penelitian ini menunjukkan bahwa pendekatan NAS mampu menemukan arsitektur yang lebih optimal dibandingkan dengan desain konvensional. Melalui temuan ini, dapat membantu mengembangkan teknologi tanpa sentuhan (touchless) yang dapat meningkatkan kenyamanan interaksi pengguna.

The ongoing global pandemic has accelerated the adoption of touchless or Zero User Interface (Zero UI) technologies with the aim of minimizing virus transmission. One such technology is eye tracking, which has been shown to not only effectively prevent virus spread but also enhance accessibility for individuals with disabilities and has potential applications in medical fields, such as early detection of autism spectrum disorders and dyslexia screening.

Eye tracking systems in Zero UI technologies require enhanced accuracy and reliability in detecting and classifying eye movements. Data-driven approaches utilizing deep learning have demonstrated considerable potential in this context. However, the development of deep learning models necessitates extensive professional expertise, comprehensive testing and can be a time-consuming process. Neural Architecture Search (NAS) offers a solution by automatically identifying the optimal network architecture. The architecture is generated by a Recurrent Neural Network (RNN) that acts as the learning agent. The reinforcement gradients are used to update the agent’s parameters based on the evaluation results of the network generated on a validation dataset. These results are then fed back to the agent as rewards. This study employs a parameter sharing method to accelerate the search process.

This research evaluates the deep learning Convolutional Neural Networks (CNN) and Multilayer Perceptrons (MLP) models, and optimizes the MLP architecture using NAS on eye movement data from the GazeCom (Gaze Communication) dataset which includes fixation, saccade, smooth pursuit, and noise. The NAS-optimized architecture has been demonstrated to be effective in improving eye movement classification, with high F1-scores being achieved for each of the three categories: fixation (0.8861), smooth pursuit (0.52148) and noise (0.33585). A comprehensive evaluation showed a significant improvement in the macro F1-score of the optimized MLP from 0.61073 to 0.62634. This was supported by the t-test result, with a P-value of 0.000295 (at a significance level of 0.05). The result of this study shows that the NAS approach is capable of identifying a more optimal architectural configuration compared to conventional design. These findings have the potential to facilitate the development of touchless technology that can enhance the convenience of user interaction.

Kata Kunci : Gerakan mata, Deep learning, Multilayer Perceptron, Neural Architecture Search, Reinforcement Learning