Permasalahan umum dalam layanan kesehatan adalah infeksi nosokomial. Infeksi nosokomial adalah infeksi yang didapatkan saat seseorang berada di rumah sakit atau sedang menjalani perawatan di rumah sakit. Hal ini dapat dapat dihindari dengan mengurangi kontak dengan perangkat bersama di rumah sakit. Teknologi touchless seperti CoviDisplay, sebuah digital signage yang dikendalikan melalui tatapan mata, dapat membantu mengatasi masalah ini. CoviDisplay menggunakan tiga blok proses: event detection untuk mengklasifikasikan gerakan mata, signal denoising untuk membersihkan data gangguan, dan similarity measures untuk memilih tombol berdasarkan lintasan tatapan mata. Meskipun peningkatan performa event detection dengan metode machine learning dapat meningkatkan performa similarity measures, pendekatan ini membutuhkan fitur hand-crafted feature dari ahli dan tidak memperhitungkan ketergantungan temporal antar event. Sebaliknya, pendekatan deep learning, khususnya dengan Bidirectional Long Short-Term Memory (BiLSTM), dapat mengatasi masalah ini dengan mempelajari fitur secara langsung dari data dan memperhitungkan konteks temporal. Namun, pendekatan deep learning dapat mengalami masalah model yang overfitting ketika data pelatihan terbatas. Hal ini dapat diatasi melalui augmentasi data.
Augmentasi gerakan mata, sebagai data time-series, dapat dilakukan dengan Time Series Generative Adversarial Network (TSGAN). Meskipun TSGAN telah berhasil diimplementasikan pada data time-series univariat,belum ada implementasi TSGAN yang diketahui untuk augmentasi pada data gerakan mata atau data bivariat. Dalam penelitian ini, dilakukan implementasi dan pengujian terhadap performa TSGAN dalam menghasilkan data gerakan mata bivariat sintetis. Selain itu, dilakukan peningkatan performa klasifikasi deep learning berbasis BiLSTM dengan dataset gerakan mata yang terbatas melalui augmentasi data menggunakan TSGAN.
Berdasarkan hasil pengujian, TSGAN ditemukan memiliki dampak signifikan dalam peningkatan performa klasifikasi, khususnya pada skor F1 makro validasi, pada model deep learning berbasis BiLSTM dengan dataset gerakan mata yang terbatas (p-value < 0>scatter plot yang menunjukkan adanya tumpang tindih antara data asli dan data sintetis. Secara kuantitatif, hal ini terlihat dari nilai 1D FID, yaitu 1,086 untuk data sintetis VVB_bridge_2 dan 1,294 untuk data sintetis BBD_bridge_2. Selain itu, evaluasi performa model dengan menggunakan F1 makro pada pendekatan train on synthetic test on real (TSTR) menghasilkan skor sebesar 0,808. Hasil ini menunjukkan bahwa TSGAN mampu menghasilkan data gerakan mata bivariat sintetis dengan kualitas yang baik. Data sintetis ini dapat efektif digunakan untuk meningkatkan performa klasifikasi gerakan mata atau event detection. Oleh karena itu, metode ini berpotensi untuk meningkatkan performa similarity measures pada teknologi touchless seperti CoviDisplay, yang kemudian dapat membantu mengatasi masalah infeksi nosokomial di rumah sakit.
Common issues in healthcare services include nosocomial infections. Nosocomial infections occur when an individual is in a hospital or undergoing treatment in a hospital. This can be avoided by reducing contact with shared devices in the hospital. Touchless technology such as CoviDisplay, a gaze-controlled digital signage, can help address this issue. CoviDisplay employs three process blocks: event detection to classify eye movements, signal denoising to clean disturbance data, and similarity measures to select buttons based on gaze trajectories. While enhancing event detection performance with machine learning methods can improve similarity measures, this approach requires handcrafted features from experts and overlooks temporal dependencies between events. Conversely, deep learning approaches, especially with Bidirectional Long Short-Term Memory (BiLSTM), can address these issues by directly learning features from data and considering temporal context.
However, deep learning approaches may face overfitting issues when training data is limited. This can be mitigated through data augmentation. Eye movement augmentation, as time-series data, can be achieved using Time Series Generative Adversarial Network (TSGAN). Although TSGAN has been successfully implemented in univariate time-series data, there is no known implementation for augmenting eye movement or bivariate data.In this research, implementation and testing were conducted to assess the performance of TSGAN in generating synthetic bivariate eye movement data. Additionally, performance improvement of BiLSTM-based deep learning classification with limited eye movement datasets was achieved through data augmentation using TSGAN.
Based on the test results, TSGAN was found to have a significant impact on improving classification performance, particularly in macro F1 validation scores, for the BiLSTM-based deep learning model with limited eye movement datasets (p-value 0.013 < 0>
Kata Kunci : Gerakan mata, Deep learning, Time series generative adversarial network, Bidirectional long short-term memory
