ACCURACY IMPROVEMENT OF OBJECT SELECTION IN GAZE GESTURE APPLICATION USING LONG SHORT-TERM MEMORY (LSTM)

M. ALFAROBY, Dr.Eng. Ir. Sunu Wibirama, S.T., M.Eng., IPM; Dr.Eng. Igi Ardiyanto, S.T., M.Eng.

2022 | Tesis | MAGISTER TEKNIK ELEKTRO

Dunia pascapandemi Covid-19 adalah kesempatan untuk meningkatkan kualitas kesehatan. Pandemi mengajarkan banyak hal, salah satunya adalah pentingnya mencegah penularan penyakit. Fasilitas umum yang menggunakan layar sentuh rentan terhadap penyebaran mikroba. Eye tracking menjawab tantangan ini dengan menghadirkan interaksi tanpa sentuhan dan mudah digunakan yang sangat prospektif untuk dirancang untuk ruang publik yang menuntut kebersihan. Eye tracking dengan aplikasi berbasis gestur tatapan mata memiliki keuntungan karena individu secara alami menatap sesuatu yang menarik sebelum melakukan tindakan lain, gerakan tatapan memungkinkan interaksi yang lebih cepat antara pengguna dan aplikasi. Eye tracking dengan aplikasi berbasis gestur tatapan mata yang berjalan di latar belakang menggunakan gestur tatapan mata sebagai masukan tanpa memerlukan kalibrasi apa pun. Keakuratan alat konvensional menjadi perhatian. Secara umum, sinyal lokasi tatapan yang dikumpulkan oleh Eye tracker berisi error dan noise. Kinerja pemilihan objek dalam aplikasi berbasis gerakan tatapan mata yang mengontrol konten digital pada tampilan menggunakan gerakan mata smooth-pursuit dipengaruhi oleherror dan noise. Metode pemilihan objek konvensional menggunakan Pearson's Product Moment Coefficient(PPMC) memiliki tingkat akurasi yang rendah. Riset ini menggunakan strategi deep learning baru untuk mengatasi tantangan akurasi ini. Menggunakan kemampuan deep learning yaitu pengenalan pola untuk mengenali pola data tatapan mata. LSTM (Long Short Term Memory) adalah jenis arsitektur deep learning yang dipilih karena bekerja dengan baik dengan data deret waktu. Pendekatan ini juga mengurangi tahap deep learning dan signal denoising. LSTM memiliki kemampuan mengenali pola yang diperlukan untuk melakukan pemilihan objek berdasarkan mata aplikasi gerakan tatapan. Optimasi hyperparameter tuning LSTM menggunakan metode grid search. LSTM yang dioptimalkan mencapai 94.8%+- 4.60% akurasi dengan durasi pemilihan yang jauh lebih singkat dengan kurang dari satu detik. Di masa depan, model yang diusulkan menjanjikan penciptaan teknologi interaktif tanpa sentuhan yang mematuhi pedoman kesehatan Organisasi Kesehatan Dunia selama epidemi Covid-19 dan masa depan yang lebih higienis.

The post-pandemic world of Covid-19 is our chance to improve the quality of health. Pandemics teach a lot, one of which is the importance of preventing disease transmission. Public facilities that use touch screens are vulnerable to the spread of microbes. Eye-tracking addresses this challenge by bringing touchless and seamless interaction that is very prospective to design for more demanding sterile public spaces. Eye-tracking with a gaze-gesture-based application is preferable because individuals naturally stare at the item of interest before doing any other actions; the gaze gesture allows for faster interaction between a user and an application. Eye-tracking with a gaze-gesture-based application that runs in the background uses gaze-gesture as an input modality without any calibration. The accuracy of traditional eye-tracking devices is a concern. The gaze location signal collected by an eye tracker generally involves errors and noise. The performance of object selection in a gaze gesture-based application that controls digital contents on display using smooth-pursuit eye movement is affected by errors and noise. The conventional object selection method based on the Pearson's Product Moment Coefficient(PPMC) has a low level of accuracy. We used a novel deep learning strategy to address this accuracy challenge in our research. To recognize the pattern of eyegaze data, we used the deep learning power of pattern recognition. The LSTM (Long Short-Term Memory) is a type of deep learning architecture that we choose since it works well with time-series data. This approach also reduces the application stage of event detection and signal denoising. LSTM has the power to recognize the pattern that is necessary to perform object selection based on eye gaze gesture application. We conducted LSTM hyperparameter tuning optimization using the Grid Search method. Optimized LSTM achieved 94.8%+-4.60% of accuracy with a significantly shorter selection duration of less than one second. In future, the proposed method is promising for development of touchless interactive technologies that adhere to World Health Organization health guidelines during the Covid-19 epidemic and create a more hygienic future.

Kata Kunci : touchless, eye-tracking, gaze gesture, object selection, LSTM