Peningkatan Akurasi Seleksi Objek Tanpa Kalibrasi Pada Sistem Eye Tracking Menggunakan Bidirectional Lstm

MUHAMMAD AINUL FIKRI, Dr.Eng. Ir. Sunu Wibirama, ST, M.Eng., IPM. ; Ir. Paulus Insap Santosa, M.Sc., Ph.D., IPU.

2022 | Tesis | MAGISTER TEKNIK ELEKTRO

Penyebaran virus Covid-19 dapat dicegah dengan mengurangi interaksi dan kontak fisik di luar rumah. Namun, kebutuhan akan akses perangkat dan informasi di ruang publik tidak dapat dihindari begitu saja. Menerapkan Zero UI dinilai mampu mengatasi masalah ini karena menggunakan konsep touchless technology. Aplikasi berbasis Zero UI memungkinkan tidak perlu adanya kontak fisik antara manusia dan mesin. Salah satu produk dari Zero UI adalah CoviDisplay, sebuah digital signage yang dikendalikan menggunakan tatapan mata. Pengguna akan mengikuti gerakan tombol pada layar CoviDisplay, dan perangkat akan menjalankan tiga blok proses untuk menentukan tombol mana yang dipilih oleh pengguna. Seiring berkembangnya ilmu pengetahuan, proses seleksi objek menggunakan tiga blok akhirnya bisa dipangkas menggunakan algoritme deep learning. Namun, penelitian terkait penggunaan deep learning untuk seleksi objek menggunakan tatapan mata masih menyisakan beberapa kendala, evaluasi terhadap akurasi data tanpa kalibrasi dengan akurasi data terkalibrasi (ground truth), dan investigasi penggunaan algoritme deep learning lain. Penelitian ini kemudian mengkaji ulang penerapan deep learning sebagai penyeleksi objek tanpa proses kalibrasi menggunakan BiLSTM, lalu membandingkannya dengan ground truth. Pengujian juga akan dilakukan untuk menginvestigasi berbagai macam algoritme deep learning lain dan mengukur kemampuannya dalam menjalankan tugas ini. Berdasarkan hasil pengujian, BiLSTM telah terbukti menghasilkan perbaikan akurasi sebesar 95,85 ±0,01% dan tidak terdapat perbedaan signifikan terhadap ground truth. Selain itu, BiLSTM secara statistik terbukti memiliki peningkatan akurasi sebesar 0,68% terhadap penelitian sebelumnya. Dengan demikian, BiLSTM berpotensi menjadi metode penyeleksi objek berdasarkan tatapan pengguna tanpa proses kalibrasi eye tracking.

The spread of the Covid-19 virus can be avoided by reducing interaction and physical contact outside the home. However, the need for access to devices and information in public spaces unavoidable. Implementing Zero UI is considered able to overcome this problem because it uses the concept of touchless technology. Therefore, between humans and machines there is no need for physical contact. One of Zero UI's products is CoviDisplay, digital signage that is controlled by the eye. The user will follow the movement of the buttons on the CoviDisplay screen, and the device will run a three-block process to determine which button is selected by the user. As science develops, the object selection process using three blocks can finally be trimmed using deep learning algorithms. However, research related to the use of deep learning for object selection using eye gaze still leaves several obstacles. Namely evaluation of the accuracy of the data without calibration with the accuracy of the calibrated data (ground truth), and investigation of the use of other deep learning algorithms. In this study, we then re-examined the application of deep learning as an object selector without a calibration process using BiLSTM, then compared it with ground truth. We will also investigate various other deep learning algorithms and measure their ability to perform this task. Based on the test results, BiLSTM has been proven to produce an accuracy improvement of 95.85 ±0.01% and there is no significant difference to ground truth. In addition, BiLSTM is statistically proven to have an increase in accuracy of 0.68% compared to previous studies. Thus, BiLSTM has the potential to be a method of selecting objects based on the user's gaze without an eye tracking calibration process.

Kata Kunci : gerakan mata, data terkalibrasi, tatapan langsung, deep learning, time series, klasifikasi.