Evaluasi Squeeze-and-Excitation Block dan Augmentasi MixUp/CutMix pada DenseNet121 untuk Klasifikasi Beban Kognitif Berbasis Citra Recurrence Plot

Nibroos Aurore Majiid Haryanto, Dr.Eng. Ir. Sunu Wibirama, S.T., M.Eng., IPM.; Syukron Abu Ishaq Alfarozi, S.T., Ph.D.

2026 | Skripsi | TEKNOLOGI INFORMASI

Beban kognitif merepresentasikan kapasitas mental seseorang dalam menyelesaikan suatu tugas. Estimasi beban kognitif penting dilakukan karena beban kognitif yang tinggi dapat memengaruhi performa, ketelitian, dan pengambilan keputusan. Salah satu pendekatan yang berkembang untuk estimasi beban kognitif adalah penggunaan sinyal eye-tracking. Sinyal eye-tracking merekam pola gerakan mata yang muncul selama seseorang berinteraksi dengan suatu tugas. Dinamika temporal pada sinyal tersebut dapat direpresentasikan ke dalam bentuk citra dua dimensi menggunakan Recurrence Plot (RP). Representasi ini memungkinkan pola pada sinyal eye-tracking dipelajari menggunakan pendekatan deep learning berbasis citra. DenseNet121 sebagai model CNN pretrained menunjukkan potensi dalam klasifikasi beban kognitif berbasis citra RP. Namun, eksplorasi masih dapat dilakukan untuk meningkatkan performa. Dilakukan eksplorasi terhadap dua aspek, yaitu selektivitas fitur melalui mekanisme attention dan generalisasi melalui augmentasi berbasis mixing. Oleh karena itu, penelitian ini mengevaluasi penerapan Squeeze-and-Excitation (SE) Block dan augmentasi MixUp/CutMix pada DenseNet121 untuk klasifikasi beban kognitif berbasis citra RP.

Penelitian ini menggunakan citra RP dari sinyal gaze horizontal pada dataset COLET untuk mengklasifikasikan beban kognitif. Beban kognitif diklasifikasikan ke dalam tiga kelas, yaitu rendah, sedang, dan tinggi. SE Block diterapkan untuk mengevaluasi pengaruh mekanisme channel attention terhadap kemampuan model dalam menekankan channel fitur yang lebih relevan. Dengan mekanisme tersebut, model diharapkan dapat memberi perhatian lebih besar pada pola RP yang berperan dalam membedakan kelas beban kognitif. Di sisi augmentasi data, MixUp/CutMix diterapkan untuk membentuk variasi sampel training melalui pencampuran citra dan label. Strategi ini relevan karena perbedaan antar kelas pada citra RP dapat muncul dalam bentuk variasi tekstur yang tidak terlalu kontras, sehingga model memerlukan kemampuan generalisasi yang baik. Untuk mengevaluasi kontribusi setiap komponen, disusun empat konfigurasi eksperimen, yaitu DenseNet121 baseline (E0), DenseNet121 dengan SE Block (E1), DenseNet121 dengan MixUp/CutMix (E2), serta DenseNet121 dengan kombinasi SE Block dan MixUp/CutMix (E3). Data dibagi menjadi 90% train-validation set dan 10% test set. Pada train-validation set, digunakan skema 5-fold stratified cross-validation, sedangkan test set dipisahkan sejak awal untuk evaluasi akhir.

Hasil pengujian pada test set menunjukkan bahwa konfigurasi DenseNet121 dengan MixUp/CutMix (E2) memperoleh performa terbaik. Konfigurasi ini menghasilkan accuracy sebesar 90,57±0,38?n macro F1-score sebesar 90,36%. Friedman Test menunjukkan adanya perbedaan performa yang signifikan antar konfigurasi (p-value = 0,0029). Berdasarkan mean rank Friedman Test, urutan kecenderungan performa konfigurasi adalah E2, E3, E0, dan E1. Hasil ini menunjukkan bahwa augmentasi MixUp/CutMix memberikan kontribusi performa yang lebih besar dibandingkan rekalibrasi channel fitur melalui SE Block. Dengan demikian, penelitian ini menunjukkan bahwa augmentasi berbasis mixing merupakan strategi yang berpotensi untuk meningkatkan klasifikasi beban kognitif berbasis citra RP.

Cognitive load represents the mental effort required by a person when completing a task. Estimating cognitive load is important because excessive cognitive load can affect task performance, accuracy, and decision-making. One approach that has been developed for cognitive load estimation is the use of eye-tracking signals. Eye-tracking signals capture eye movement patterns that occur while a person interacts with a task. The temporal dynamics of these signals can be transformed into two-dimensional images using Recurrence Plot (RP), allowing the signal patterns to be processed using image-based deep learning methods. DenseNet121, as a pretrained CNN model, has shown potential for cognitive load classification based on RP images. However, further exploration is still needed to improve the model performance. In this study, two improvement strategies are evaluated, namely feature selectivity through an attention mechanism and generalization through mixing-based augmentation. Therefore, this study evaluates the application of Squeeze-and-Excitation Block (SE Block) and MixUp/CutMix augmentation on DenseNet121 for cognitive load classification based on RP images.

This study uses RP images generated from horizontal gaze signals in the COLET dataset to classify cognitive load into three classes: low, medium, and high. SE Block is applied to evaluate the effect of channel attention on the model's ability to emphasize more relevant feature channels. Through this mechanism, the model is expected to give greater attention to RP patterns that contribute to distinguishing cognitive load classes. Meanwhile, MixUp/CutMix is applied as a mixing-based augmentation strategy to generate additional variations of training samples by combining images and labels. This strategy is relevant because the differences between cognitive load classes in RP images may appear as texture variations that are not highly contrastive. Therefore, the model requires good generalization ability to distinguish these patterns. To evaluate the contribution of each component, four experimental configurations are designed: DenseNet121 baseline (E0), DenseNet121 with SE Block (E1), DenseNet121 with MixUp/CutMix (E2), and DenseNet121 with a combination of SE Block and MixUp/CutMix (E3). The dataset is divided into 90% train-validation set and 10% test set. A 5-fold stratified cross-validation scheme is applied to the train-validation set, while the test set is separated from the beginning for final evaluation.

The test results show that the DenseNet121 with MixUp/CutMix configuration (E2) achieves the best performance. This configuration obtains an accuracy of 90.57±0.38% and a macro F1-score of 90.36%. The Friedman Test shows a significant performance difference among the configurations (p-value = 0.0029). Based on the mean rank of the Friedman Test, the performance tendency is ordered as E2, E3, E0, and E1. These results indicate that MixUp/CutMix augmentation contributes more to performance improvement than feature channel recalibration through SE Block. Thus, this study shows that mixing-based augmentation has potential as an improvement strategy for cognitive load classification based on RP images.

Kata Kunci : Cognitive Load, DenseNet121, Eye-Tracking, MixUp/CutMix, Recurrence Plot