A Robust Object Selection Technique in Gaze Gesture Application using Exponential Moving Average and Hidden Markov Model

SUATMI MURNANI, Dr.Eng. Ir. Sunu Wibirama, S.T., M.Eng., IPM.; Ir. Noor Akhmad Setiawan, S.T., M.T., Ph.D., IPM.

2020 | Tesis | MAGISTER TEKNIK ELEKTRO

Tatapan mata manusia adalah modalitas input yang menjanjikan untuk aplikasi interaktif karena beberapa kelebihannya. Interaksi berbasis tatapan mata memberikan manfaat bagi para tunadaksa selama mereka masih bisa menggerakkan mata. Eye-tracker juga merupakan perangkat yang mampu berinteraksi lebih cepat dibandingkan dengan modalitas input konvensional seperti mouse dan keyboard. Selain itu, tatapan mata juga intuitif dan mudah digunakan untuk berinteraksi dengan berbagai aplikasi yang dikendalikan dengan tatapan mata. Interaksi berbasis tatapan mata paling umum adalah pemilihan objek. Pemilihan objek dilakukan dengan menatap objek yang dipilih. Namun, metode ini rentan terhadap masalah akurasi spasial, perintah yang tidak disengaja, proses dwelling yang memakan waktu, dan kelelahan. Di sisi lain, ada tuntutan untuk interaksi spontan dan pervasive. Dengan demikian, pengguna tidak perlu melakukan kalibrasi sebelum berinteraksi dengan aplikasi. Gaze gesture berbasis smooth pursuit telah menjadi teknik untuk berinteraksi secara spontan. Sayangnya, studi-studi sebelumnya belum menyelidiki robustness dari berbagai similarity measure selama proses eye tracking yang tidak dikalibrasi. Selain itu, belum ada penelitian yang mempelajari berbagai metode signal denoising dan event detection untuk meningkatkan akurasi pemilihan objek. Untuk mengatasi beberapa masalah yang disebutkan di atas, penelitian ini melakukan beberapa evaluasi. Evaluasi pertama bertujuan untuk menemukan metode pemilihan objek yang paling sesuai untuk eye-tracker yang tidak dikalibrasi. Studi ini membandingkan ED, MD, dan PPMC. Evaluasi kedua bertujuan untuk mengetahui apakah signal denoising dapat meningkatkan akurasi dan merekomendasikan metode yang paling sesuai. Evaluasi terakhir bertujuan untuk mengetahui apakah metode event detection untuk mengklasifikasikan jenis gerakan mata juga dapat meningkatkan akurasi pemilihan objek. Hasil eksperimen menunjukkan bahwa PPMC adalah metode pemilihan objek yang paling sesuai untuk eye-tracker yang tidak dikalibrasi. Akurasi pemilihan objek juga dapat ditingkatkan menjadi 67.88 ± 8.36 % dengan melakukan signal denoising dengan EMA. Dengan melakukan metode event detection dengan HMM dan menghilangkan segmen yang diklasifikasikan sebagai saccade juga dapat meningkatkan akurasi menjadi 70.14 ± 6.66%. Hasil kami menyarankan penggunaan PPMC untuk similarity measure, EMA untuk signal denoising, dan HMM untuk event detection selama proses eye tracking yang tidak dikalibrasi. Hasil ini berarti bahwa tatapan mata spontan untuk aplikasi interaktif dimungkinkan dengan pertimbangan untuk menangani noisy data yang dihasilkan oleh eye-tracker. Di masa depan, observasi yang lebih ketat tentang berbagai teknik event detection dapat dilakukan untuk meningkatkan akurasi pemilihan objek selama eye tracking yang tidak dikalibrasi.

Human gaze is a promising input modality for interactive applications due to its advantages. Gaze interaction gives benefits for motion-impaired people as long as they can move their eyes. An eye-tracker is also a fast selection device compared to other conventional input modalities such as mouse or keyboard. Moreover, human gaze is also intuitive and easy to interact with various gaze-controlled applications. The most common gaze interaction is object selection. Gaze-based object selection is performed by fixating the gaze at the chosen object. However, this method is prone to spatial accuracy issue, unintentional command, time consuming of the dwelling process, and fatigue. On the other hand, there is a demand for spontaneous and pervasive interaction. Thus, a user needs no prior calibration to interact with a gaze-based application. Smooth pursuit-based gaze gesture has been an emerging technique for spontaneous interaction on gaze-controlled applications. Unfortunately, previous works have not investigated robustness of various similarity measures during uncalibrated eye tracking. Additionally, there is no research that studies various signal denoising methods with eye movements' event detection to improve the accuracy of gaze-based object selection. To overcome the above-mentioned gaps, this study conducted some evaluations. The first evaluation had an objective to find the most suitable object selection methods with an uncalibrated eye-tracker. This study compared Euclidean Distance, Mahalanobis Distance, and Pearson Product Moment Coefficient. The second evaluation's objective was to find out if performing signal denoising can improve the object selection accuracy and recommend the most suitable signal denoising method. The last was an evaluation to find out whether performing event detection method to classify eye movement types can also improve the object selection accuracy. Experiment results show that the Pearson Product Moment Coefficient is the most suitable object selection method for an uncalibrated eye-tracker. Object selection accuracy can also be improved by performing signal denoising. Exponential Moving Average yields the best object selection accuracy of $67.88\pm8.36\%$. Performing event detection method with the Hidden Markov Model and removing segments classified as saccade can also improve the accuracy of object selection by $70.14\pm6.66\%$. Our results suggest the use of Pearson Product Moment Coefficient for similarity measure, Exponential Moving Average for signal denoising, and Hidden Markov Model for eye movement classification during uncalibrated eye tracking. These results imply that spontaneous gaze gesture for interactive applications is possible with careful considerations on the underlying techniques to handle noisy data generated by the eye tracker. In future, more rigorous observation on various event detection techniques may be conducted to improve accuracy of object selection during uncalibrated eye tracking.

Kata Kunci : eye tracking, gaze gesture, interactive application, object selection, smooth pursuit