KLASIFIKASI EKSPRESI WAJAH UNTUK MENDETEKSI EMOSI NEGATIF MENGGUNAKAN CONVOLUTIONAL NEURAL NETWORK DENGAN DATA WILD SETTINGS

DHIA SALSABILA AZHAR, Ika Candradewi, S.Si., M.Cs.

2022 | Skripsi | S1 ELEKTRONIKA DAN INSTRUMENTASI

Emosi negatif digambarkan sebagai perasaan yang menyebabkan kesengsaraan dan sedih. Emosi negatif dapat dianalisis dari perubahan fitur-fitur di wajah. Pendeteksian emosi negatif yang terdapat aturan pengambilan gambar dengan menghadapkan wajah ke kamera, mengakibatkan ekspresi yang terdeteksi cenderung tidak alami. Dengan demikian pada penelitian ini aturan pengambilan gambar ditiadakan (wild settings) agar dapat mendeteksi emosi negatif yang lebih alami. Emosi negatif dideteksi melalui pendeteksian wajah kemudian pengenalan ekspresi wajah (FER). Pada penelitian ini emosi negatif dideteksi dengan mengaplikasikan Multi-Task Cascade Convolution Neural Network (MTCNN) untuk deteksi wajah dan Densely Connected Convolution Network (DenseNet) sebagai pengklasifikasi ekspresi wajah. MTCNN dipilih karena kemampuannya yang andal dalam mendeteksi wajah dari berbagai oklusi dan iluminasi, pendeteksian wajah mencapai akurasi 90,62%, f1 score 95,07% dengan presisi dan recall sebesar 96,7% dan 93,5%, serta DenseNet dipilih karena memiliki properti penggunaan kembali fitur sehingga dapat mengurangi parameter komputasi agar lebih efisien yang pada penelitian ini menghasilkan akurasi terbaik sebesar 85,71%, nilai f1 score 85,57% dengan presisi dan recall 86,57% dan 85,71%. Hasil pendeteksian emosi negatif terhadap data citra mencapai akurasi 85%, nilai f1-score 91,5% dengan presisi dan recall sebesar 92,2% dan 91,5%, dan pada data video didapatkan akurasi sebesar 81,56%, f1 score 89,84% dengan presisi dan recall sebesar 86,53% dan 93,42%.

Negative emotions can be described as feelings that cause suffering and sadnessness. Negative emotions can be analyzed from changes of facial features. Negative emotions detection which obligated a rule for taking pictures by facing the face to the camera, caused the detected expressions tended to be unnatural. Therefore, in this study, the taking pictures rules were removed (wild settings) to detect negative emotions more naturally. Negative emotions are detected through face detection and then facial expression recognition (FER). This study applies the multi-task cascade convolution neural network (MTCNN) for face detection task and a densely connected convolution network (DenseNet) as a facial expression classifier. MTCNN was chosen because the reliability and ability to detect faces from various occlusions and illuminations, MTCNN achieved an accuracy of 90,62%, f1 score 95,07% with precision and recall of 96,7% and 93,5%, and DenseNet was chosen because it has feature reuse properties so that it can reduce computational parameters to be more efficient, the best accuracy reached 85,71%, the f1 score was 85,57% with precision and recall 86,57% and 85,71%. The results of the negative emotion detection for image data reached an accuracy of 85%, f1 score 91,5% with precision and recall of 92,2% and 91,5%, and on the video data achieved an accuracy of 81,56%, f1 score 89,84% with precision and recall of 86,53% and 93,42%.

Kata Kunci : Deteksi Wajah, Pengenalan Ekspresi Wajah (FER), Multi-task Cascaded Convolutional Networks (MTCNN), Densely Connected Convolutional Networks (DenseNet), Emosi Negatif