Klasifikasi Beban Kognitif Berdasarkan Data Eye Tracking Menggunakan Recurrence Plot dan Transfer Learning

Aisha Nabilla Niko Amani, Dr. Eng. Sunu Wibirama, S.T., M.Eng., IPM. ; Ridwan Wicaksono S.T., M.Eng., Ph.D

2025 | Skripsi | S1 TEKNIK BIOMEDIS

Beban kognitif merupakan indikator penting dalam mengukur kapasitas mental seseorang saat menjalankan tugas tertentu. Teknologi eye-tracking memungkinkan estimasi beban kognitif secara noninvasif melalui analisis pergerakan mata. Namun, karakteristik sinyal gaze yang satu dimensi dan nonlinier membuatnya sulit dianalisis secara efektif menggunakan pendekatan konvensional. Penelitian ini bertujuan untuk meningkatkan akurasi klasifikasi beban kognitif dengan mentransformasikan sinyal gaze menjadi citra dua dimensi menggunakan metode Recurrence Plot (RP), sehingga dapat diekstraksi secara otomatis oleh model Convolutional Neural Network (CNN). Eksperimen dilakukan menggunakan dataset COLET (COgnitive workLoad esti mation based on eye-tracking) yang memuat data eye-tracking selama partisipan mengerjakan tugas visual dengan tingkat kompleksitas yang bervariasi. Sinyal gaze horizontal dan vertikal dikonversi ke dalam citra RP dan diklasifikasikan ke dalam tiga kelas beban kognitif berdasarkan skor NASA-TLX. Empat arsitektur CNN pretrained digunakan, yaitu InceptionV3, ResNet50, DenseNet121, dan EfficientNetB0. Seluruh model dilatih dengan skema fine-tuning menyeluruh agar mampu mengenali pola unik dalam citra RP. Hasil penelitian menunjukkan bahwa transformasi RP mampu merepresentasikan dinamika temporal sinyal secara lebih informatif dan meningkatkan efektivitas klasifikasi. DenseNet121 menunjukkan performa terbaik dan paling stabil, dengan akurasi rata rata sebesar 90,49% ± 0,35%, terutama ketika dikombinasikan dengan strategi oversampling, dropout, dan early stopping. Selain itu, sinyal gaze horizontal menjadi yang paling representatif terhadap kondisi beban kognitif dibandingkan sinyal vertikal maupun gabu ngannya. Eksperimen ini menunjukkan bahwa pendekatan berbasis citra dengan CNN pretrained memiliki potensi besar untuk dikembangkan dalam sistem pemantauan beban kognitif secara real-time.

Cognitive workload is a crucial indicator for assessing an individual’s mental capacity when performing specific tasks. Eye-tracking technology enables noninvasive estimation of cognitive workload by analyzing eye movement patterns. However, the one dimensional and nonlinear nature of gaze signals makes them difficult to analyze effe ctively using conventional approaches. This study aims to improve cognitive workload classification accuracy by transforming gaze signals into two-dimensional images using the Recurrence Plot (RP) method, allowing feature extraction through Convolutional Ne ural Networks (CNNs). Experiments were conducted using the COLET (Cognitive Workload Estimation Based on Eye-Tracking) dataset, which contains eye-tracking recordings of participants completing visual search tasks of varying complexity. Horizontal and vertical gaze sig nals were converted into RP images and classified into three cognitive workload levels based on NASA-TLX scores. Four pretrained CNN architectures were employed: Incep tionV3, ResNet50, DenseNet121, and EfficientNetB0. All models were trained using full f ine-tuning to adapt to the distinct characteristics of RP images. The results demonstrate that RP transformation effectively captures the temporal dynamics of gaze signals in a spatially informative format, enhancing classification performance. DenseNet121 yielded the highest and most stable performance, achieving an average accuracy of 90.49% ± 0.35%, particularly when combined with oversampling, dropout, and early stopping strategies. Additionally, horizontal gaze signals proved to be the most representative of cognitive workload conditions compared to vertical or com bined signals. These findings highlight the potential of image-based approaches with pretrained CNNs for real-time cognitive workload monitoring systems.

Kata Kunci : Eye-Tracking, Cognitive Workload, Recurrence Plot, Convolutional Neural Network, Transfer Learning