Identifikasi Individu Berbasis Facial Landmark Pada Kasus Bermasker Menggunakan Fitur Numerik dan HOG pada Deep Learning

Melianti Dwi Syafitri, Prof. Dr. Ir. Risanuri Hidayat, M.Sc.,IPM. , Prof. Ir., Hanung Adi Nugroho, S.T., M.Eng., Ph.D., IPM., SMIEEE.

2025 | Tesis | S2 Teknik Elektro

Pengenalan wajah menjadi kurang efektif ketika sebagian area wajah tertutup, seperti saat penggunaan masker, yang kini menjadi praktik umum dalam berbagai situasi. Hal ini menimbulkan tantangan serius bagi sistem identifikasi berbasis biometrik yang mengandalkan fitur visual dari seluruh wajah. Oleh karena itu, dibutuhkan pendekatan yang mampu mengenali identitas individu secara akurat meskipun wajah tertutup sebagian. Penelitian ini mengusulkan metode terintegrasi yang menggabungkan analisis identitas wajah dengan klasifikasi penggunaan masker. Pendekatan ini memanfaatkan kombinasi fitur tekstur dan geometris. Fitur tekstur diekstraksi menggunakan metode Histogram of Oriented Gradients (HOG) pada area bawah wajah (lower Region of Interest), untuk mengidentifikasi pola-pola tekstur khas dari kondisi bermasker maupun tidak. Sementara itu, fitur geometris diperoleh dari jarak Euclidean antar titik-titik kunci wajah yang diperoleh melalui pemetaan landmark secara presisi. Seluruh fitur kemudian diproses menggunakan arsitektur deep learning untuk melakukan identifikasi wajah sekaligus klasifikasi status pemakaian masker. Hasil penelitian menunjukkan bahwa metode ini mampu mencapai akurasi hingga 99%, bahkan dalam kondisi wajah tertutup sebagian dan orientasi wajah yang bervariasi. Kontribusi utama dari penelitian ini adalah pengembangan sistem identifikasi wajah yang adaptif terhadap penggunaan masker, dengan tetap mempertahankan akurasi tinggi dan kemampuan klasifikasi yang andal. Pendekatan ini berpotensi diterapkan dalam berbagai sistem keamanan dan pengawasan berbasis biometrik di dunia nyata.

Face identification becomes significantly less effective when parts of the face are obscured, such as during mask usage, a condition that has become increasingly common in many public and private settings. This presents a major challenge for biometric identification systems that rely heavily on full facial features. To address this issue, this study proposes an integrated approach that combines facial identity recognition with mask usage classification. The method leverages a fusion of texture-based and geometric features. Texture features are extracted using the Histogram of Oriented Gradients (HOG) technique, specifically from the lower region of the face (lower Region of Interest), to capture distinct texture patterns indicative of masked or unmasked conditions. Meanwhile, geometric features are derived from the Euclidean distances between precise facial landmarks, enabling the representation of facial structure even under partial occlusion. All extracted features are then processed using a deep learning architecture to identify individual identities and classify mask-wearing conditions. Experimental results demonstrate that the proposed method achieves an accuracy of up to 99%, even under varying face orientations and partial occlusions. The main contribution of this study lies in developing a facial recognition system that remains robust and accurate in masked scenarios, offering a reliable and scalable solution for real-world biometric security and surveillance applications.

Kata Kunci : Deep learning, Pengenalan Wajah, Masker Wajah, Mediapipe, Fitur Geometris, Histogram of Oriented Gradients (HOG), Convolutional Neural Network (CNN).