Hyperparameter Optimization of Temporal Convolutional Network in Eye Movement Classification System using Tree-structured Parzen Estimator

Hasnito Lailu Sobrian, Dr.Eng. Ir. Sunu Wibirama, S.T., M.Eng., IPM.; Ir. Adhistya Erna Permanasari, S.T., M.T., Ph.D., IPM.

2026 | Tesis | S2 Teknologi Informasi

Klasifikasi gerakan mata merupakan tugas fundamental dalam memahami perhatian visual, proses persepsi, dan perilaku kognitif. Identifikasi yang akurat terhadap jenis-jenis gerakan mata seperti fixation, saccades, dan smooth pursuit mendukung berbagai aplikasi, termasuk interaksi manusia-komputer, penilaian neurologis, dan pemodelan saliensi visual. Namun, kinerja model deep learning untuk tugas ini sangat bergantung pada pemilihan hyperparameter yang optimal. Penyesuaian hyperparameter secara manual seringkali bersifat heuristik dan memakan waktu, sehingga membatasi reproduibilitas dan generalisasi di berbagai dataset atau pengaturan eksperimental.

Untuk mengatasi masalah ini, tesis ini mengeksplorasi penggunaan Tree-structured Parzen Estimator (TPE), variasi dari metode optimasi Bayesian, untuk mengotomatisasi proses optimasi hyperparameter pada Temporal Convolutional Networks (TCN) dalam klasifikasi gerakan mata. Optimasi dilakukan secara independen untuk mengidentifikasi konfigurasi model yang efektif, yang kemudian dievaluasi menggunakan skema Leave-One-Video-Out Cross-Validation (LOVO-CV) pada dataset GazeCom. Uji statistik dilakukan untuk memastikan perbandingan yang ketat antara model yang dioptimalkan dan model baseline yang dikonfigurasi secara manual.

Hasil eksperimen menunjukkan bahwa optimasi berbasis TPE dapat meningkatkan performa TCN dengan mendapatkan skor yang lebih tinggi, yaitu hingga 83,05% untuk skor keseluruhan dan 76,21% untuk skor kelas smooth pursuit. Dibandingkan dengan model acuan, model dengan konfigurasi yang dioptimalkan berhasil mencapai hasil yang lebih seimbang. Temuan ini menunjukkan bahwa TPE menyediakan pendekatan sistematis dan berbasis data untuk menyempurnakan model TCN, membuka jalan bagi solusi yang lebih efisien dan dapat diterapkan secara umum dalam analisis gerakan mata.

Eye movement classification is a fundamental task in understanding visual attention, perceptual processes, and cognitive behavior. Accurate identification of eye movement types such as fixations, saccades, and smooth pursuits supports a wide range of applications, including human-computer interaction, neurological as sessment, and visual saliency modeling. However, the performance of deep learning models for this task highly depends on the selection of optimal hyperparameters.

Manual hyperparameter tuning is often heuristic and time-consuming, limiting reproducibility and generalization across different datasets or experimental settings. To address this issue, this thesis explores the use of the Tree-structured Parzen Estimator (TPE), a variant of bayesian optimization method, to automate the hyperparameter optimization (HPO) process for Temporal Convolutional Networks (TCNs) in eye movement classification. The optimization was performed independently to identify effective model configurations, which were subsequently evaluated using a Leave-One-Video-Out Cross-Validation (LOVO-CV) scheme on the GazeCom dataset. Statistical tests were conducted to ensure a rigorous comparison between the optimized and manually configured baseline models.

The experimental results show that TPE-based optimization successfully enhances the performance of TCNs, yielding higher classification accuracy, up to 83.05% overall and 76.21% smooth pursuit F1-scores. Compared to baseline models, the optimized configurations achieved improved balance between F1-scores and computational efficiency. These findings demonstrate that probabilistic optimization techniques provide a systematic and data-driven approach to refining deep temporal models, paving the way for more efficient and generalizable solutions in eye movement analysis.

Kata Kunci : eye movement classification, deep learning, hyperparameter optimization