Improving Eye Movement Classification Performance with Temporal Convolutional Network (TCN): A Bayesian Optimization Approach for Hyperparameter Optimization

Ayuningtyas Hari Fristiana, Dr. Eng. Ir. Sunu Wibirama, S.T., M.Eng., IPM.; Ir. Adhistya Erna Permanasari, S.T., M.T., Ph.D.

2024 | Tesis | S2 Teknologi Informasi

Teknologi eye-tracking telah menjadi bagian integral dari teknologi bantu, menawarkan sarana interaksi bagi individu dengan keterbatassan fisik. Kemajuan terbaru menunjukkan keakuratan deep learning dalam mendeteksi gerakan mata, termasi fixation, sacacde, dan smooth pursuit, dari data eye-tracking yang mengungguli metode tradisional. Namun, beberapa masalah masih ada, termasuk ketergantungan performa deep learning pada hyperparameter dan ketidakakuratan dalam mengklasifikasikan smooth pursuit (F1 score: 73.7%). Smooth pursuit sangat penting untuk aplikasi eye-tracking tanpa kalibrasi untuk menciptakan interaksi yang alami, intuitif, dan efisien dengan memungkinkan pelacakan yang mulus terhadap objek yang bergerak. Studi ini mengatasi tantangan tersebut dengan meningkatkan klasifikasi gerakan mata, khususnya dalam mendeteksi smooth pursuit.

Untuk mengatasi tantangan hyperparameter, peneliti menggunakan Hyperparameter Optimization (HPO), sebuah pendekatan sistematis dan otomatis yang menyempurnakan parameter untuk meningkatkan efektivitas model. Peneliti menggunakan Bayesian Optimization pada Temporal Convolutional Network untuk mengoptimalkan hyperparameter penting sekaligus memastikan model yang lebih ringan dibandingkan model dasar. Proses BO secara efisien mengeksplorasi berbagai parameter yang mencakup activation function, filters, kernel size, dilation, stacks, droupout rate, dan initial learning rate. Sehingga dihasilkan peningkatan substansial dalam kinerja klasifikasi. Penelitian ini mengisi kesenjangan penelitian sebelumnya, karena seringkali penelitian klasifikasi gerakan mata berbasis deep learning  mengabaikan teknik optimisasi ini.

Peneliti menggunakan dataset GazeCom dan menerapkan metode validasi Leave-One-Video-Out (LOVO) untuk menjaga urutan temporal. Dataset ini kaya akan anotasi untuk berbagai gerakan mata, terutama smooth pursuit. Dalam penelitian ini, metode yang digunakan berhasil meningkatkan klasifikasi gerakan mata menggunakan model dengan parameter 18 kali lebih sedikit dan ukuran 15 kali lebih kecil daripada model dasar. Model yang diusulkan mencapai F1 score yang tinggi untuk fixation (94,51%), saccade (89,96%), smooth pursuit (76,08%), dan noise (71,45%). TCN yang dioptimalkan oleh Bayesian Optimization mencapai nilai AUC-ROC tertinggi untuk fixation (0,9583), saccade (0,9948), dan smooth pursuit (0,9656), menegaskan kemampuan klasifikasinya yang kuat. Evaluasi komprehensif menunjukkan peningkatan signifikan dalam F1 score makro (86,40%), menunjukkan kinerja klasifikasi secara keseluruhan, terutama dalam klasifikasi smooth pursuit, dengan peningkatan yang signifikan secara statistik sebesar 0,72% (p-value= 0,0001). Pencapaian ini memberikan wawasan penting untuk pengembangan teknologi bantu berbasis tatapan mata dan potensi implementasi HPO di masa depan.

Eye-tracking technology has become indispensable in assistive technology, enabling interaction for individuals with physical limitations. Recent advancements have introduces deep learning as the accurate detection approach of eye movements, including fixations, saccades, and smooth pursuit, from raw eye-tracking data, outperforming traditional techniques. However, critical issues persist, including the reliance of deep learning algorithms on hyperparameters and the inadequate performance of smooth pursuit classification (F1 score: 73.7%). Smooth pursuit is crucial for calibration-free eye-tracking applications, as it enhances natural, intuitive, and efficient interaction by enabling seamless tracking of moving objects or scenes. This study addresses the challenges by enhancing eye movement classification, mainly focusing on improving smooth pursuit detection.

To tackle hyperparameter challenges, the researcher employs Hyperparameter Optimization (HPO), a systematic and automatic approach that fine-tunes parameters to boost model effectiveness. Leveraging Bayesian Optimization (BO) within the Temporal Convolutional Network (TCN) architecture, the researcher aims to optimize key hyperparameters while ensuring a lighter model than the baseline. The BO Process efficiently explores the parameter space. This exploration includes activation functions, filters, kernel size, dilation, stacks, dropout rate, and learning rate. As a result, substantial improvements in classification performance were achieved. Notably, the utilization of HPO addresses a research gap, as prior studies in deep learning-based eye movement classification often overlooked this optimization technique.

The researcher rigorously experiments with the GazeCom dataset, using Leave-One-Video-Out (LOVO) validation to maintain temporal order. The dataset is richly annotated for various eye movements, explicitly focusing on smooth pursuit. The method notably improves the classification of different eye movements while using a model with 18 times fewer parameters and  a 15-fold smaller size than the baseline. The model achieves high F1 scores for fixation (94.51%), saccade (89.96%), smooth pursuit (76.08%), and noise (71.45%). Remarkably, the Bayesian-optimized TCN achieves the highest  AUC-ROC values for fixation (0.9583), saccade (0.9948), and smooth pursuit (0.96556), confirming its robust classification capabilities across various eye movements. This study's comprehensive evaluation also significantly improves the macro F1 score (86.40%), reflecting the overall F1 score is particularly noteworthy, with an enhancement of 0.72% (p-value = 0.0001), indicating statistical significance. This achievement marks a decisive step toward refining assistive technology reliant on gaze interaction and offers insights for future implementations of hyperparameter optimization.

Kata Kunci : Bayesian Optimization, deep neural network, hyperparameters tuning, eye-tracking, temporal convolutional network, smooth pursuit