Multi-Representation and Asymmetric Windowing Recurrence Plot Input Formulations To Enhance EEG-Based Emotion Recognition

Dwi Wahyu Prabowo, Prof. Ir. Hanung Adi Nugroho, S.T., M.E., Ph.D., IPM.; Ir. Noor Akhmad Setiawan, S.T., M.T., Ph.D., IPM.; Prof. Johan DEBAYLE

2024 | Disertasi | S3 Teknik Elektro

Kebutuhan mendesak akan pengenalan emosi yang akurat, dikombinasikan dengan pertumbuhan pesat masalah kesehatan mental, memerlukan pengembangan teknik yang tepat untuk sistem pengenalan emosi berbasis EEG. Metode analisis fitur sinyal EEG konvensional mengekstraksi fitur untuk model klasifikasi dan memanfaatkan berbagai representasi fitur untuk memperkaya analisis sinyal EEG dengan memberikan berbagai perspektif. Namun, rekayasa fitur yang multifaset ini menghadirkan tantangan, seperti "curse of dimensionality" yang menyebabkan overfitting serta kebutuhan untuk mengidentifikasi fitur yang redundan atau tidak relevan. Selain itu, data EEG bersifat kompleks, berdimensi tinggi, tidak stasioner, dan nonlinier, yang membuat tugas pengenalan emosi menjadi lebih menantang.

Untuk mengatasi tantangan ini, dalam studi ini sinyal EEG diubah menjadi representasi citra input tingkat lanjut yang memungkinkan pemrosesan langsung dengan pengklasifikasi berbasis CNN tanpa ekstraksi fitur konvensional. Formulasi input tingkat lanjut ini bertujuan untuk meningkatkan pengenalan emosi berbasis EEG. Sebuah formulasi input multirepresentasi (MR) yang inovatif dirancang untuk mengatasi "curse of dimensionality" yang terkait dengan rekayasa fitur multifaset. Selain itu, kompleksitas bawaan sinyal EEG dikelola melalui formulasi input asymmetric windowing recurrence plot (AWRP).

Metode yang diusulkan mencakup pengenalan model multi-representation convolutional neural network (MrCNN) yang dirancang untuk mengklasifikasi representasi citra sinyal EEG yang berasal dari formulasi input MR guna mengenali keadaan emosi yang kompleks. Dengan mengintegrasikan berbagai representasi citra sinyal EEG, MrCNN dapat mengklasifikasi keadaan emosi yang kompleks dan meningkatkan kinerja pengenalan emosi. Selain itu, untuk memperkaya tekstur data input dan meningkatkan kinerja pengklasifikasi berbasis CNN, formulasi input AWRP dikembangkan. Dataset DEAP dan SEED digunakan untuk memvalidasi metode yang diusulkan, dan kinerja dievaluasi menggunakan metrik akurasi, skor F1, dan Kappa.

Evaluasi empiris menggunakan dataset DEAP dan SEED menunjukkan bahwa model MrCNN melampaui teknik input dengan representasi tunggal, mencapai akurasi 0,9663, skor F1 0,9656, dan Kappa 0,9511 pada dataset DEAP serta akurasi 0,9695, skor F1 0,9695, dan Kappa 0,9543 pada dataset SEED. Formulasi input AWRP secara signifikan meningkatkan kinerja klasifikasi dengan mempertimbangkan nonlinieritas dan ketidakstasioneran sinyal EEG dibandingkan dengan formulasi input recurrence plot konvensional, mencapai akurasi 0,9984, skor F1 0,9984, dan Kappa 0,9977 pada dataset DEAP serta akurasi 0,9969, skor F1 0,9969, dan Kappa 0,9953 pada dataset SEED.

Studi ini menunjukkan bagaimana formulasi input strategis, yang mengombinasikan representasi citra data EEG dengan pengklasifikasi berbasis CNN, dapat meningkatkan kinerja model dalam membedakan antara berbagai keadaan emosi. Dengan demikian, studi ini menjadi dasar bagi penelitian selanjutnya terkait aplikasi praktis dari metodologi yang diusulkan.

The urgent need for accurate emotion recognition, combined with the rapid growth of mental health problems, necessitates the development of appropriate techniques for EEG-based emotion recognition systems. Conventional EEG signal feature analysis methods extract features for classifier models and utilize multiple feature representations to enrich the EEG signal analysis by providing diverse perspectives. However, this multifaceted feature engineering introduces challenges, such as the curse of dimensionality leading to overfitting and the need to identify redundant or irrelevant features. Additionally, EEG data are complex, high-dimensional, nonstationary, and nonlinear, making emotion recognition tasks even more challenging.

To address these challenges, in this study, EEG signals were transformed into advanced input image representations, enabling direct processing with CNN-based classifiers without conventional feature extraction. These advanced input formulations aim to enhance the EEG-based emotion recognition. An innovative multirepresentation (MR) input formulation mitigates the curse of dimensionality associated with multifaceted feature engineering. Furthermore, the inherent complexity of EEG signals is managed through an asymmetric windowing recurrence plot (AWRP) input formulation.

The proposed methods include the introduction of a multi-representation convolutional neural network (MrCNN) model designed to classify EEG signal image representations derived from the MR input formulation for recognizing complex emotional states. By integrating multiple EEG signal image representations, MrCNN can classify complex emotional states and improve emotion recognition performance. Additionally, to enrich the input data texture and enhance the CNN-based classifier performance, an AWRP input formulation was developed. The DEAP and SEED datasets were used to validate the proposed methods, and the performance was evaluated using the accuracy, F1 score, and Kappa metrics.

Empirical evaluations using the DEAP and SEED datasets demonstrated that the MrCNN model outperformed single-representation input techniques, achieving an accuracy of 0.9663, F1 score of 0.9656, and Kappa of 0.9511 on the DEAP dataset and an accuracy of 0.9695, F1 score of 0.9695, and Kappa of 0.9543 on the SEED dataset. The AWRP input formulation significantly improved the classification performance by considering the nonlinearity and nonstationarity of EEG signals compared to conventional recurrence plot input formulations, achieving an accuracy of 0.9984, F1 score of 0.9984, and Kappa of 0.9977 on the DEAP dataset and an accuracy of 0.9969, F1 score of 0.9969, and Kappa of 0.9953 on the SEED dataset.

This study demonstrates how strategic input formulation, combining an image representation of EEG data with CNN-based classifiers, can enhance the model performance in distinguishing between different emotional states. Thus, the present study lays the groundwork for subsequent research on practical applications of the proposed methodology.

Kata Kunci : EEG, Emotion Recognition, Image Representation, Input Formulation, Multi-Representation, Multi-Representation Convolutional Neural Networks, Asymmetric Windowing Recurrence Plots