PENERAPAN ASYMMETRIC WINDOWING RECURRENCE PLOTS DALAM ENCODING SINYAL JANTUNG UNTUK KLASIFIKASI EMOSI MENGGUNAKAN DEEP LEARNING

Noan Yaseka Pradanya, Ir. Noor Akhmad Setiawan, S.T., MT., Ph.D., IPM. ; Dra. Sri Kusrohmaniah, M.Si., Ph.D., Psikolog.

2024 | Tesis | MAGISTER TEKNIK BIOMEDIS

Penelitian ini mengkaji klasifikasi emosi manusia kategori emosi High Valence-High Arousal, High Valence-Low Arousal, Low Valence-High Arousal, dan Low Valence-Low Arousal melalui sinyal fisiologis, khususnya sinyal jantung, dari dua dataset publik yaitu AMIGOS dan DREAMER. Tujuan dari penelitian ini adalah untuk menemukan perbedaan visual valence dan arousal serta mengukur performa algoritma deep learning dalam mengklasifikasikan emosi manusia. Emosi umumnya tampak melalui tiga gejala utama: fisiologis, psikis, dan perilaku. Gejala fisiologis mencakup perubahan detak jantung, tekanan darah, dan aktivitas sistem saraf. Gejala psikis berupa perubahan suasana hati dan perasaan, sedangkan gejala perilaku meliputi ekspresi wajah dan gerakan tubuh. Namun, karena gejala perilaku dapat dikendalikan atau disembunyikan, analisis sinyal fisiologis menjadi lebih penting, mengingat sinyal fisiologis sulit dimanipulasi secara sadar. Salah satu metode yang dapat digunakan adalah Recurrence Plots (RPs) namun adanya pola redundansi yang dihasilkan oleh metode tersebut dapat menyebabkan kesalahan interpretasi, hal ini menegaskan perlunya pengembangan lebih lanjut.  Dengan menggunakan model deep learning penelitian ini menerapkan metode Asymmetric Windowing Recurrence Plots (AWRP) sebuah metode pengembangan dari RPs, untuk mentransformasikan data deret waktu sinyal jantung menjadi citra dua dimensi (2D). Hasil penelitian menunjukkan bahwa AWRP secara signifikan lebih unggul daripada RPs, dengan akurasi tertinggi pada dataset AMIGOS sebesar 0,85 menggunakan AWRP8, dan pada dataset DREAMER sebesar 0,87 menggunakan AWRP50. Serta adanya perbedaan visual antara kategori emosi High Valence-High Arousal, High Valence-Low Arousal, Low Valence-High Arousal, dan Low Valence-Low Arousal. Hasil penelitian ini dapat dimanfaatkan dalam bidang ilmu psikologi untuk melakukan pelabelan jenis emosi secara lebih akurat berdasarkan sinyal jantung.

Kata kunci: AWRP, sinyal jantung, klasifikasi emosi, deep learning.

This research examines the classification of human emotions into four categories: High Valence-High Arousal, High Valence-Low Arousal, Low Valence-High Arousal, and Low Valence-Low Arousal, using physiological signals, particularly heart signals, from two public datasets: AMIGOS and DREAMER. The goal of this study is to identify visual differences in valence and arousal and to measure the performance of deep learning algorithms in classifying human emotions. Emotions typically manifest through three main symptoms: physiological, psychological, and behavioral. Physiological symptoms include changes in heart rate, blood pressure, and nervous system activity. Psychological symptoms involve mood and feelings, while behavioral symptoms consist of facial expressions and body movements. However, since behavioral symptoms can be controlled or hidden, analyzing physiological signals becomes more crucial because these signals are hard to manipulate consciously. One method that can be used is Recurrence Plots (RPs), but the redundancy patterns produced by this method can lead to misinterpretation, highlighting the need for further development. This study employs deep learning by applying the Asymmetric Windowing Recurrence Plots (AWRP) method, an advancement of RPs, to transform heart signal time series data into two-dimensional (2D) images. The results indicate that AWRP significantly outperforms RPs, achieving the highest accuracy of 0.85 on the AMIGOS dataset using AWRP8, and 0.87 on the DREAMER dataset using AWRP50. Additionally, visual differences were found between the emotion categories of High Valence-High Arousal, High Valence-Low Arousal, Low Valence-High Arousal, and Low Valence-Low Arousal. The findings of this study can be used in the field of psychology for more accurate labeling of emotion types based on heart signals.

Keywords: AWRP, heart signals, emotion classification, deep learning.

Kata Kunci : Keywords: AWRP, heart signals, emotion classification, deep learning.