Mental Health Disorder Detection Through Facial Images Using Convolutional Neural Network

VIDISKIU FORTINO K, Edi Wibowo,S.Kom., M.Kom, Ph.D.

2019 | Skripsi | S1 ILMU KOMPUTER

Gangguan kesehatan mental sering disembunyikan karena paradigma sosial di beberapa daerah karena dampak pada kesejahteraan dan citra seseorang. Oleh karena itu, banyak orang menyembunyikan gangguan mental mereka dan menyebabkan kondisi kesehatan mental mereka yang memburuk. (Venkataraman dan Paramswaran, 2018) Deteksi penyakit mental terbukti sulit ketika disembunyikan, tetapi penelitian oleh Ward dan Scott (2018) melakukan deteksi pada wajah netral. Penelitian ini bertujuan untuk membuat model CNN yang menerapkan metode transfer learning dengan model dasar VGG Face 2 dan InceptionV3 karena kelangkaan dataset. Implementasi data program augmentasi untuk membuat dataset dari 336 gambar dari mengubah ukuran, membalik, transformasi fotometrik, dan rata-rata wajah. Model pra-pelatihan dilatih lebih dari 20, 30, dan 40 epochs menggunakan pengoptimal Stochastic Gradient Descent dan Adam dengan skema validasi K-Fold. Model terbaik menghasilkan akurasi rata-rata 0,9762 dan 0,66 untuk VGG Face 2 dan Inception V3. Akhirnya, penelitian membuat keputusan model menggunakan pustaka LIME explainer. Model mengungkapkan daerah yang signifikan merupakan daerah mulut, mata dan hidung ketika memprediksi kecenderungan tinggi gangguan mental, sedangkan daerah ujung wajah dianggap mendukung prediksi kecenderungan rendah gangguan mental.

Mental health disorder is often concealed due to social paradigms in some regions due to the impact of on one's well being and image. Therefore, many individuals conceal their mental disorders and leads to the worsening condition of their mental health.(Venkataraman and Paramswaran, 2018) Detection of mental illness proves to be difficult when concealed, but research by Ward and Scott (2018) implicates the possibility of performing detection on neutral faces. This research aims to create CNN models that implement transfer learning method with base models VGGFace2 and InceptionV3 due to the scarcity of dataset. The implementation of the program augments the data to create a dataset of 336 images from resizing, flipping, photometric transformation, and face averaging. The pretrained models are trained over 20, 30, and 40 epochs using Adam and Stochastic Gradient Descent optimizers using K-Fold validation scheme. The best models produced 0.9762 and 0.66 average accuracy for VGGFace2 and InceptionV3 respectively. Finally, the research analyzes the model's decisions using LIME explainer library. The models expresses regions of interest on the area of the mouth, the eyes and and nose when predicting high tendency of mental disorder, while outer regions are considered to support prediction of low tendency of mental disorder.

Kata Kunci : Convolutional Neural Network, VGGFace, InceptionV3, Mental Health Disorder Detection, LIME Explainer