Laporkan Masalah

Studi Pemilihan Obyek Berbasis Pandangan Mata Untuk Interaksi Spontan

HERLINA, Dr.Eng. Sunu Wibirama, S.T., M.Eng.; Dr.Eng. Igi Ardiyanto, S.T., M.Eng.

2018 | Tesis | MAGISTER TEKNOLOGI INFORMASI

Interaksi antarmuka dengan menggunakan pandangan mata pada teknologi digital merupakan bidang penelitian yang terus menerus berkembang. Eye tracking memberikan cara alternatif untuk melakukan kontrol konten interaktif di komputer, khususnya assistive technology dan layar publik. Selain gerakan mata fixation, gerakan mata smooth pursuit telah digunakan untuk pemilihan obyek dalam aplikasi interaktif berbasis pandangan mata. Namun, beberapa penenelitian sebelumnya tidak membandingkan lebih dari satu metode untuk mengetahui kesamaan lintasan antara gerakan mata dan stimulus yang ditampilkan pada layar. Selain itu, pada penelitian sebelumnya juga tidak melakukan perbaikan terhadap titik pandang mata selama pemilihan obyek. Oleh karena itu, pemilihan obyek berbasis pandangan mata berdasarkan gerakan mata smooth pursuit masih tidak akurat dan tidak stabil. Untuk mengatasi permasalahan yang ditemukan pada penelitian sebelumnya, kami mengusulkan pendekatan baru untuk pemilihan obyek berbasis pandangan mata dengan menggunakan regresi linear untuk meminimalisasi drift pada gerakan mata. Penelitian ini mengukur akurasi, waktu keberhasilan, dan stabilitas pemilihan obyek guna melakukan validasi performansi metode yang diusulkan. Studi ini menggunakan dua aplikasi interaktif yang berisi empat obyek dinamis. Obyek tersebut diposisikan di kiri atas, kiri bawah, kanan atas dan kanan bawah. Aplikasi pertama menampilkan empat obyek tersebut secara bergantian (tanpa oklusi) dan aplikasi kedua mengampilkan obyek secara bersamaan (dengan oklusi). Partisipan diminta untuk memilih obyek dengan menggunakan pandangan mata dan mengikuti lintasan obyek yang bergerak dengan dan tanpa menggunakan chinrest. Dalam studi ini, kami melakukan analisa empat kondisi pemulusan pandangan (tanpa filtering, moving average, Kalman filter dan Particle filter), dua metode similarity (Euclidean distance dan Pearson's Product Moment Coefficient) dan pengaruh penggunaan regresi linier terhadap peningkatan akurasi pemilihan obyek dengan menggunakan pandangan mata. Kami juga mengamati pengaruh penggunaan chinrest terhadap akurasi, waktu keberhasilan dan stabilitas pemilihan obyek. Dari hasil eksperimen disimpulkan bahwa pemilihan obyek dapat dilakukan tanpa penggunaan chinrest dengan menggunakan Euclidean distance dan regresi linier dalam antarmuka berbasis pandangan mata. Penggunaan chinrest pada saat interaksi tidak memberikan pengaruh yang signifikan terhadap akurasi, waktu dan stabilitas pemilihan obyek dalam antarmuka berbasis pandangan mata. Moving average dan Euclidean distance (ED) menghasilkan akurasi yang paling baik untuk pemilihan obyek dibandingkan dengan metode lainnya (tanpa oklusi = 49.26% dan dengan oklusi = 47.21%). Particle filter dan Euclidean distance (ED) menghasilkan waktu pemilihan obyek terbaik (tanpa oklusi = 167.11 ms, dengan oklusi = 131.52 ms), dan moving average dengan Euclidean distance menghasilkan stabilitas terbaik untuk pemilihan obyek (tanpa oklusi = 16,934 ms dan dengan oklusi = 19,944 ms). Penggunaan regresi linier untuk memprediksi titik pandang mata dan melakukan perbaikan gerakan mata telah meningkatkan performa pemilihan obyek. Akurasi dari pemilihan obyek dengan menggunakan moving average dan Euclidean distance (ED) meningkat sekitar 30.17% dari hasil sebelumnya. Waktu pemilihan obyek menggunakan Particle filter dan Euclidean distance (ED) meningkat sekitar 41.77 ms. Sedangkan, stabilitas pemilihan obyek dengan menggunakan moving average dan Euclidean distance (ED) meningkat sekitar 4,082 ms. Berdasarkan penelitian ini dapat disimpulkan bahwa pemilihan objek pada saat melakukan interaksi dengan menggunakan gerakan mata smooth pursuit dapat mencapai performa terbaik dalam hal akurasi dan stabilitas dengan menerapkan Euclidean distance sebagai metode similarity, moving average dalam pemrosesan sinyal pandangan mata, dan regresi linier untuk koreksi drift dari gerakan mata. Hasil dari penelitian dapat digunakan sebagai pedoman untuk mengembangkan aplikasi interaktif yang lebih akurat dan stabil berdasarkan gerakan mata smooth pursuit.

Gaze-based interaction in various digital technologies is a rapidly growing research area. Eye tracking provides an alternative input modality to control the interactive contents in computers, particularly in assistive technology and public display. Instead of fixational eye movement, smooth pursuit eye movement has been used for object selection in gaze-based interactive applications. However, some previous works did not consider various similarity measures to match trajectory of eye movement and the presented dynamic stimulus. Furthermore, there was no correction towards the drift of eye movement during object selection. Hence, gaze- based object selection based on smooth pursuit eye movement is still inaccurate and unstable. To fill the research gaps, we propose a novel approach for accurate gaze-based object selection using linear regression for eye movement's drifting correction. We measured accuracy, success timing, and stability of object selection to validate performance of the proposed method. In this study, we presented two interactive applications containing four dynamic objects. The objects was positioned on the top left, bottom left, top right and bottom right. The first application showed dynamic objects subsequently (coded: without occlusion). The second application presented the objects simultaneously (coded: with occlusion). The participants were asked to select the objects by gazing and following the trajectory of the moving objects with and without the usage of chinrest. In this study, we investigated four gaze smoothing conditions (without filtering, moving average, Kalman filter and Particle filter), two similarity measures (Euclidean distance and Pearson's product moment coefficient) and effect of linear regression as drifting corrector towards accuracy improvement of gaze-based object selection. We also observed the effect of chinrest usage on accuracy, success timing, and stability of object selection. From the experimental results, object selection could be performed without the usage of chinrest using Euclidean distance and linear regression in gaze-based interfaces. The usage of chinrest did not give significant effect on accuracy, success timing and stability of object selection in gaze-based interfaces. Moving average with Euclidean distance (ED) yielded the best accuracy of object selection among others gaze smoothing filter (without occlusion = 49.26 % and with occlusion = 47.21%), Particle filter with Euclidean distance (ED) yielded the best success timing of object selection (without occlusion = 167.11 ms and with occlusion = 131.52 ms), and moving average with Euclidean distance yielded the best stability of object selection (without occlusion = 16, 934 ms and with occlusion = 19, 944 ms). The use of linear regression for predicting gaze points and correcting drift of eye movement has improved overall performance of object selection. The accuracy of object selection using moving average with Euclidean distance (ED) improved about 30.17 % from previous result. The success timing of object selection using Particle filter with Euclidean distance (ED) improved about 41.77 ms. The stability of object selection using moving average with Euclidean distance (ED) improved about 4,082 ms. Based on our study, we thus argue that gaze-based object selection using smooth pursuit eye movements can achieve its best performance in terms of accuracy and stability by implementing Euclidean distance as similarity measure, moving average filter in gaze signal processing, and linear regression for drifting correction. In future, our results maybe used as a guideline for developing more accurate and more stable interactive applications based on smooth pursuit eye movement.

Kata Kunci : smooth pursuit, eye tracking, gaze-based interaction, object selection, Euclidean distance, Pearson's product coefficient, moving average, Kalman filter, Particle filter, linear regression

  1. S2-2018-404850-abstract.pdf  
  2. S2-2018-404850-bibliography.pdf  
  3. S2-2018-404850-tableofcontent.pdf  
  4. S2-2018-404850-title.pdf