Periocular Region Based Masked Face Recognition using CNN

ANDREAS KEVIN RAHMAN, Wahyono, Ph.D

2021 | Skripsi | S1 ILMU KOMPUTER

COVID-19 adalah penyakit yang mengubah hidup kita. COVID-19 dapat menyebar melalui droplet, yang dihasilkan oleh tindakan umum seperti berbicara atau batuk. Cara penularannya di udara dan cukup mudah mengharuskan orang untuk memakai masker wajah saat berada di luar ruangan. Namun, memakai masker wajah dapat menghambat kinerja sistem pengenalan wajah. Masker wajah, bila dipakai dengan benar, menyembunyikan sebagian besar wajah, termasuk ujung hidung, hanya menyisakan area periokular, area di sekitar mata, yang terlihat. Deteksi ujung hidung penting dalam pengenalan wajah, karena membantu deteksi fitur wajah, koreksi pose, dan normalisasi wajah. Penelitian ini bertujuan untuk mengusulkan metode pengenalan wajah dengan Convolutional Neural Networks yaitu VGG16 dan EfficientNetB0. Penelitian ini menganalisis efektivitas dua jaringan saraf yang dilatih pada wajah yang tidak bermasker dalam memprediksi identitas subjek yang bertopeng. Efektivitas akan diukur dengan menggunakan akurasi, presisi, recall, dan confusion matrix. Metode lain untuk menggunakan gambar khusus, yang diambil dari aliran webcam, juga diperkenalkan. Ada beberapa tahapan dalam penelitian ini, yang pertama adalah akuisisi dataset dari github, preprocessing data, implementasi model dengan convolutional neural networks, baik VGG16 maupun EfficientNetB0, pengujian dengan masked face, evaluasi model, dan pengujian dengan video stream dari webcam. Hasil dari penelitian ini adalah EfficientNetB0 berperforma lebih baik dari VGG16, baik dalam akurasi train dan validasi, dan pengujian dengan masked face.

COVID-19 is a disease that changes our lives. COVID-19 can be spread through droplets, produced by common actions such as talking or coughing. Its airborne, fairly easy way of transmission requires people to wear a facial mask when being outdoors. However, wearing facial masks can hamper the performance of facial recognition systems. Facial mask, when worn correctly, hides a large part of the face, including the nose tip, leaving only the periocular area, the areas around the eyes, visible. Nose tip detection is important in facial recognition, as it helps with facial feature detection, pose correction, and face normalization. This research aims to propose a method to recognize faces with Convolutional Neural Networks, namely VGG16 and EfficientNetB0. This research analyzes the effectiveness of the two neural networks that is trained on unmasked faces in predicting the identities of a masked subject. The effectiveness will be measured by using accuracy, precision, recall, and confusion matrix. Another method to use custom images, taken from webcam stream, is also introduced. There are several phases in this research, the first being dataset acquisition from github, data preprocessing, model implementation with convolutional neural networks, both VGG16 and EfficientNetB0, testing with masked faces, model evaluation, and testing with video stream from webcam. Results of this research is that EfficientNetB0 performs better than VGG16, both in train and validation accuracy, and testing with masked faces.

Kata Kunci : Facial Recognition, Deep learning, CNN, Masked Face Recognition