Repainting Wajah Berbasis Generative Adversarial Network (GAN) Pada Pengenalan Wajah Bermasker

FITRA FEBRIANSYAH, Wahyono, Ph.D.; Faizal Makhrus, S.Si., M.Sc., Ph.D.

2022 | Tesis | MAGISTER ILMU KOMPUTER

Kemampuan kamera CCTV semakin berkembang seiring dengan perkembangan teknologi pengolahan citra. Dari yang awalnya manusia harus mengawasi orang dengan sistem CCTV secara manual, sekarang dapat dilakukan secara otomatis dengan ilmu pengetahuan dalam bidang pengolahan citra. Selain itu, pandemi virus corona juga membuat pengenalan wajah menggunakan CCTV menjadi lebih sulit dikarenakan kebiasaan baru yang mewajibkan penggunaan masker pada wajah. Tugas memantau kamera pengawas dengan kondisi seperti ini sangat sulit untuk dilakukan oleh manusia dan memiliki tingkat kesalahan yang lebih tinggi sehingga dapat digantikan oleh komputer seperti melakukan penggambaran ulang pada wajah yang tertutup masker menggunakan metode Generative Adversarial Network (GAN) dengan model Cycle-Consistency GAN. Tantangan dari penggunaan arsitektur GAN pada wajah bermasker adalah data yang digunakan menggunakan dataset bermasker dan memiliki identitas yang harus dikenali sangat terbatas. Sehingga harus dilakukan proses augmentasi untuk memperbanyak data bermasker. Data bermasker dapat diambil dari internet terutama website pengelola gambar seperti Instagram. Output dari GAN ini merupakan hasil repainting dari wajah bermasker menjadi tidak bermasker. Sebelum melalui tahap repainting, gambar bermasker yang didapat dari Instagram memiliki kualitas yang rendah sehingga dibutuhkan SR-GAN sebagai arsitektur super resolution untuk meningkatkan resolusinya. Data untuk super resolution memiliki jumlah 10 kelas dengan 10 gambar untuk setiap kelasnya untuk data bermasker dan tidak bermasker sehingga totalnya menjadi 20 gambar setiap kelasnya yang kemudian diperbanyak menggunakan augmentasi dan data yang dikumpulkan menjadi 5099 gambar. Setelah itu data yang diaugmentasi digunakan untuk proses repainting dan pengenalan wajah menggunakan VGG16 dan GoogleNet. Hasil dari performa pengenalan wajah dilihat dari tingkat akurasi dan F1-Score. Untuk melakukan repainting dan pengenalan wajah dibutuhkan learning rate yang kecil sehingga membutuhkan proses yang lama, dan learning rate yang terlalu besar membuat hasil repainting tidak maksimal. Hasil tertingginya dapat diketahui bahwa VGG16 memiliki hasil pengenalan wajah yang lebih tinggi dengan tingkat perubahan akurasi dari wajah bermasker sebesar dua kali lipat dari 34% menjadi 68% setelah dilakukan repainting.

The CCTV camera nowadays is constantly becoming more advanced according to computer vision technologies. Humans manually supervised CCTV, and now it can be automatic because there is a lot of research on computer vision. Another reason why surveillance systems are more important is that the COVID pandemic makes face recognition systems get bad results and most people are starting to use masks as one of their daily habits and face maskers are a shortfall for face recognition results. Face maskers have become to be one of the main rules for people to interact with others. The capacity of CCTV for doing surveillance can be difficult if it is operated by humans and will have bad accuracy. The surveillance system can be done by repainting masked faces using a new technology called Generative Adversarial Network (GAN) with a Cycle-Consistency model. The most challenging part of GAN architecture is the difficulty to find data related to masked faces with the identity in it. So, the data should be augmented and multiply it. Masked faces can be collected from Instagram or the image�s base website. GAN output is the result of repainting the masked faces, from masked to unmasked faces. Before doing repainting, masked images that have been collected from Instagram are having low resolution and it needs improvement using super-resolution to make the higher resolution. Data for super-resolution have 10 classes and 10 images for masked face and 10 images for full face each class, and because of that image augmentation is needed for multiplying the images. Images have been augmented and become 5099 images. After the augmentation process, the augmented data is used to do the repainting process and for the face recognition system using VGG16 and GoogleNet. The result for face recognition will be performed by accuracy and F1-Score. The repainting process and face recognition process need a small learning rate, so the time of the process is consumed, moreover bigger learning rate can make the repainting process be overfitted. The highest result of face recognition is the VGG16 architecture. It can recognize faces 34% difference accuracy from 34% using masked face data to be 68% after repainting.

Kata Kunci : Face Recognition, Generative Adversarial Network, CNN, Occlusion