Convolutional Neural Network untuk Rekognisi Ekspresi Emosi Wajah Manusia

Erlangga Satrio Agung, Achmad Pratama Rifai, S.T., M.Eng., Ph.D.,

2023 | Skripsi | TEKNIK INDUSTRI

Emosi merupakan salah satu faktor dominan yang mempengaruhi keputusan yang diambil oleh manusia. Emosi umumnya disampaikan melalui ekpresi wajah. Menjaga emosi manusia agar tetap stabil dapat meningkatkan produktivitas hidup. Salah satu teknologi yang berkembang pesat digunakan untuk mengidentifikasi dan mengenali emosi melalui ekpresi wajah adalah Facial Emotion Recognition (FER). FER menggunakan berbagai teknik computer vision dan machine learning untuk mengenali emosi wajah. Tujuan penelitian ini adalah untuk mengembangkan model FER dengan pendekatan deep learning yang berbasis pada algoritma Convolutional Neural Network (CNN). 

Penelitian ini menggunakan emognition dataset yang berupa video rekaman setengah badan dari 34 responden untuk membangun model CNN dengan terdiri dari 10 emosi target yaitu amusement, awe, enthusiasm, liking, surprise, anger, disgust, fear, sadness dan neutral. Serangkaian preprocessing dilakukan untuk mengubah data video menjadi data gambar yang berisikan wajah manusia dengan 80?ta training, 10?ta testing, dan 10?ta validation. Model CNN dibangun melalui 2 metode, yaitu transfer learning dan build from scratch. Pada transfer learning, terdapat dua model pretrained yang digunakan yaitu Inception-V3 dan MobileNet-V2. Penelitian ini juga menerapkan teknik fine-tuning dalam mengembangkan model transfer learning dan metode taguchi untuk menemukan kombinasi optimal dari model build from scratch. 

Sebagai hasilnya, model transfer learning dengan Inception-V3 menunjukan hasil terbaik dengan akurasi dan rata rata F1-Score pada data test sebesar 96?n 0,95, diikuti oleh model transfer learning MobileNet-V2 dengan akurasi sebesar 89?n rata rata F1-Score sebesar 0,88 kemudian model build from scratch dengan akurasi sebesar 85?n rata rata F1-Score sebesar 0,83. Secara umum, model transfer learning memberikan hasil yang lebih optimal dari pada model build from scratch, hal ini dikarenakan data pelatihan berjumlah 2053 yang terhitung sedikit untuk dapat membangun model machine learning. 

Emotion is the dominant factor that influences human decision making. Emotions are commonly expressed through the face expression. Maintaining human emotions to be stable condition can enhance human life productivity. Facial Emotion Recognition (FER) is a rapidly evolving technology used to identify and recognize emotions through facial expressions. FER utilizes various computer vision and machine learning techniques to recognize facial emotions. The objective of this research is to develop FER model using a deep learning approach based on the Convolutional Neural Network (CNN) algorithm.

This research uses the emognition dataset, which consists of half-body video recordings from 34 respondents, to construct a Convolutional Neural Network (CNN) model with ten target emotions: amusement, awe, enthusiasm, liking, surprise, anger, disgust, fear, sadness, and neutral. Sequenced reprocessing steps is performed to convert video data into image data containing faces only, with 80% of the data used for training, 10% for testing, and 10% for validation. CNN model is built using two methods: transfer learning and build model from scratch. For transfer learning, there are two pretrained models that used, Inception-V3 and MobileNet-V2. The research also applies fine-tuning techniques in developing the transfer learning model and Taguchi method to find best combination for build from scratch model. 

As the result, the transfer learning model with Inception-V3 demonstrated the best performance with an accuracy and average F1-Score of 96% and 0.95, respectively, on the test data. It was followed by the transfer learning model with MobileNet-V2, achieving an accuracy of 89% and an average F1-Score of 0.88, and then the built from scratch model achieving an accuracy of 85% and an average F1-Score of 0.83. Overall, the transfer learning models shown more optimal results than the model built from scratch, mainly due to the relatively small size of the image data, which consists of 2053 training images that is insufficient for building a robust machine learning model.

Kata Kunci : emosi, rekognisi ekspresi emosi, convolutional neural network, deep learning, emognition dataset.