Deteksi Emosi Manusia Melalui Ekspresi Wajah Menggunakan Hibridisasi Algoritma Convolutional Neural Network-Recurrent Neural Network

Haposan Vincentius Manalu, Ir. Achmad Pratama Rifai, S.T., M.Eng., Ph.D.

2023 | Tesis | S2 Teknik Industri

Ilmu kognitif yang dapat berperan penting dalam menafsirkan perilaku manusia adalah pengenalan emosi manusia dalam kehidupan sehari-hari. Emosi manusia dapat diketahui dari beberapa cara, seperti memperhatikan gaya bicara seseorang, gerak tubuh seseorang, dan juga ekspresi pada wajah manusia. Ekspresi wajah manusia dapat menjadi suatu media yang digunakan oleh manusia dalam berkomunikasi dan berinteraksi. FER merupakan suatu bidang ilmu dalam computer vision yang berguna dalam berbagai teknik untuk mendeteksi emosi manusia dari ekspresi wajah. Tujuan penelitian ini adalah untuk mengembangkan model hibridisasi CNN-RNN yang mampu mendeteksi emosi manusia melalui ekspresi wajah.

Penelitian ini menggunakan Emognition Wearable Dataset 2020 yang berupa video rekaman setengah badan dari 39 respoden yang terdiri dari sembilan emosi, yaitu amusement, awe, liking, anger, enthusiasm, disgust, fear, neutral, dan sadness. Pembagian data dibagi menjadi tiga, yaitu 80?ta training, 10?ta validation, dan 10?ta testing. Model custom CNN-RNN yang dikembangkan akan dilakukan perbandingan dengan transfer learning model InceptionV3-RNN dan model MobileNetV2-RNN. Penelitian ini menggunakan perangkat lunak Google Colab Pro yang berisi bahasa pemograman Python untuk mengembangkan model custom CNN RNN maupun menggunakan model transfer learning yang dapat mendeteksi emosi manusia yang terdapat pada dataset.

Model custom CNN-RNN yang dikembangkan mencapai akurasi tertinggi sebesar 63%, dimana model ini telah dilatih hingga 500 epoch. Model custom CNN-RNN ini menunjukkan akurasi yang lebih baik daripada model transfer learning MobileNetV2-RNN yang mencapai akurasi tertinggi sebesar 59%, dimana model ini telah dilatih sebelumnya hingga 1000 epoch. Akan tetapi, model custom CNN-RNN ini tidak lebih baik daripada model transfer learning InceptionV3-RNN yang mencapai akurasi tertinggi sebesar 66%, dimana model ini telah melalui proses training hingga 500 epoch.

Cognitive science that can play a crucial role in interpreting human behavior is the recognition of human emotions in everyday life. Human emotions can be discerned in several ways, such as by observing someone's speaking style, body language, and also facial expressions. Human facial expressions can serve as a means used by humans in communication and interaction. Facial Expression Recognition (FER) is a field of study in computer vision that is useful in various techniques for detecting human emotions from facial expressions. The objective of this research is to develop a hybrid CNN-RNN model capable of detecting human emotions through facial expressions.

This research uses the Emognition Wearable Dataset 2020, which consists of halfbody video recordings of 39 respondents, covering nine emotions: amusement, awe, liking, anger, enthusiasm, disgust, fear, neutral, and sadness. The data division is split into three parts: 80% for training data, 10% for validation data, and 10% for testing data. The custom CNN-RNN model developed will be compared with the transfer learning models InceptionV3-RNN and MobileNetV2-RNN. This research utilizes the Google Colab Pro software, which employs the Python programming language, to develop the custom CNN-RNN model and the transfer learning model capable of detecting human emotions present in the dataset.

The custom CNN-RNN model developed achieved the highest accuracy of 63%, where this model was trained for 500 epochs. This custom CNN-RNN model demonstrates better accuracy than the MobileNetV2-RNN transfer learning model, which reached a maximum accuracy of 59?ter being trained for 1000 epochs. However, the custom CNN-RNN model is not superior to the InceptionV3-RNN transfer learning model, which achieved the highest accuracy of 66?ter undergoing training for 500 epochs.

Kata Kunci : Deteksi Emosi, CNN-RNN, Computer Vision, Transfer Learning