Multi-loss Function in Robust Attention Convolutional Autoencoder for Reconstruction low-quality Fingerprint Image

FRANKI HALBERD, Professor Jia-Ching Wang; Professor Yung-Yu Zhuang; Wahyono, S. Kom., Ph.D.

2022 | Tesis | MAGISTER ILMU KOMPUTER

Fingerprint telah menjadi satu cara handal yang digunakan untuk autentikasi and verifikasi [1]. Pendekatan anotomi sebagai biometric dapat lebih stabil dan tidak mudak berubah-ubah, kecuali terjadi kecelakaan yang menyebabkan cacat anatomi. Pada suhu yang sangat rendah dan daerah yang kering biasanya membuat kondisi kulit menjadi kering. Sebagai hasilnya, meskipun pada saat perekaman sidik jari sudah dilakukan dengan benar, jika dalam keadaan kulit kering maka proses perekaman tidak akan sempurna. Selain itu, pandemi COVID dengan cepat berkembang pada masyarakat dunia dan mendorong penggunaan pembersih tangan yang intensif. Orang yang selalu rutin mencuci tangan dengan disinfektan juga mendapatkan sidik jari yang kering [2]. Kondisi ini dapat mempengaruhi kualitas gambar sidik jari yang diperoleh. Ketika sidik jari tidak sempurna, lebih sulit daripada ketika lengkap untuk mengekstrak minutiae darinya, dan kemungkinan mendapatkan minutiae yang salah akan lebih tinggi. Dalam penelitian kami, kami mengusulkan untuk merekonstruksi ketidaklengkapan gambar sidik jari berdasarkan autoencoder jaringan saraf convolutional dengan perhatian lembut. Kami menggabungkan pengukuran persepsi dalam hal Penilaian Kualitas Gambar (IQA) sebagai fungsi kerugian untuk memberikan koreksi bobot yang memadai. Kami merancang kombinasi beberapa fungsi kerugian untuk menyelidiki model terbaik, seperti ukuran indeks kesamaan struktural multiskala (MS-SSIM), ukuran indeks kesamaan struktural (SSIM), dan rasio sinyal-ke-noise puncak (PSNR), rata-rata kesalahan kuadrat (MSE), dan kesalahan absolut rata-rata (MAE). Kami memperoleh skor metrik kualitas gambar tertinggi dari hasil eksperimen yang diringkas sebagai metode yang kami usulkan, yaitu fungsi kerugian (SSIM + MSE) dengan pengoptimal Root Mean Squared Propagation (RMSProp). Kami mengevaluasi rekonstruksi gambar menggunakan 85 gambar sidik jari dari 3 orang dari Deep Learning dan Media System Lab. Akhirnya, metode yang kami usulkan mendapatkan hasil yang mengesankan, meningkatkan kualitas rata-rata gambar dengan PSNR 34,02%, SSIM 10,13%, MSE 64,38%, dan FSIM 10,56%. Performanya bagus dalam hal metrik kuantitatif dan penilaian visual manusia. Metode yang kami usulkan dapat menjadi dasar untuk penelitian masa depan untuk meningkatkan kinerja dalam akurasi pengenalan, terutama dalam masalah sidik jari berkualitas rendah

Fingerprint has been prominently used for authentication and verification of a person. The anatomical approaches are more stable and non alterable, except by severe injury [1]. Seasonality likes low temperature and dry region commonly leads the skin become dry. As a result, even correctly touching the surface of a fingerprint sensor with your fingertip can generate a dry fingerprint. However, the COVID-19 pandemic (a coronavirus illness that broke out in 2019) has quickly grown to be a significant worldwide public health issue, which has prompted a wider use of hand sanitizers. People who are compelled to routinely wash their hands with disinfectant also get dry fingerprints [2]. This condition may affect the quality of the acquired fingerprint image even correctly touching the surface of a fingerprint sensor. When a fingerprint is imperfect, it is more difficult than when it is complete to extract the minutiae from it, and the likelihood of getting the wrong minutiae is higher. In our research, we proposed reconstructing the incompleteness of fingerprint images based on convolutional neural network autoencoders with soft attention. We incorporate the perceptual measurement in terms of Image Quality Assessment (IQA) as the loss function to give adequate weight correction. We design the combination of several loss functions to investigate the best model, such as the multiscale structural similarity index measure (MSSSIM), the structural similarity index measure (SSIM), and peak signal-to-noise ratio (PSNR), mean square error (MSE), and mean absolute errors (MAE). We obtain the highest image quality metric scores from the experimental result summarized as our proposed method, which is a loss function (SSIM + MSE) with optimizer Root Mean Squared Propagation (RMSProp). We evaluated the image reconstruction using 85 fingerprint images from 3 persons from Deep Learning and Media System Lab. Eventually, our proposed method gets impressive results, increasing the image's average quality by PSNR of 34.02%, SSIM of 10.13%, MSE of 64.38%, and FSIM of 10.56%. The performance is good in terms of quantitative metrics and human visual judgment. Our proposed method can be the baseline for future research to increase the performance in recognition accuracy, especially in the problem of low-quality fingerprints

Kata Kunci : Fingerprint Image, Reconstruction, Multi Loss Function