COMBINED DEEP LEARNING AND FEATURE DESCRIPTOR FOR PARTIAL FINGERPRINT RECOGNITION

CHRISANTONIUS, Dr. Tri Kuntoro Priyambodo, M.Sc.;Professor Jia-Ching Wang

2021 | Tesis | MAGISTER ILMU KOMPUTER

Saat ini, pengenalan sidik jari sebagian telah menjadi sesuatu yang dipertimbangkan dan menjadi sangat penting untuk mengidentifikasi keaslian pengguna dalam melakukan transaksi melalui perangkat mobile. Oleh karena itu, diperlukan pengembangan yang lebih efektif dan akurat dalam mengidentifikasi keaslian pengguna dalam membaca dari pemindai yang hanya dapat menangkap area citra jari yang kecil. Namun, ketika diterapkan pada pencocokan sidik jari sebagian ke sebagian, terdapat pengurangan fitur dari citra sidik jari penuh menjadi citra sidik jari sebagian. Oleh karena itu, penelitian ini mengusulakn menggunakan metode gabungan deep learning dan feature descriptor untuk sidik jari sebagian. Deep learning yang digunakan dalam penelitian ini bebasis Siamese Network menggunakan arsitektur CNN dan Feature Descriptor bebasis algoritma SIFT untuk mendapatkan fitur minimal dari sidik jari sebagian. Sebagai hasil akhir, pencocokan skor diperoleh dengan menggabungkan skor dari dua metode yang digunakan (deep learning dan feature descriptor). Kemudian pada proses kombinasi, terdapat pembobotan pada skor yang diperoleh dari kedua metode. Hasil dari penelitian yang telah dilakukan pada beberapa variasi data seperti ukuran citra, epoch yang memadai, dan jenis dataset yang digunakan. Hasil penelitian menunjukkan bahwa metode yang diusukan dengan menggabungkan metode deep learning dan feature descriptor untuk evaluasi skor pencocokan di dataset FVC2002 menghasilkan EER sekitar 4% untuk DB1 dan DB3. Selain itu, hasil validasi FRR@FAR 1/50000 sebesar 6,36% dan 8,11% pada daset DB1 dan DB2. Hasil penelitian menunjukkan bahwa metode yang diusulkan memiliki hasil yang baik dalam implementasi pengenalan sidik jari sebagian. Pengembangan pada penelitian selanjutnya dapat dilakukan dengan menggunakan dataset dengan resolusi yang lebih tinggi. Sehingga, meskipun penenalan dilakukan pada citra parsial, tetap memiliki fitur berupa detail pori-pori sidik jari dan dapat menggunakan metode deep learning lainnya untuk mengurangi kompkleksitas dalam proses pelatihan.

Currently, partial fingerprint recognition has been considered and has become very important to identify a user's authenticity in conducting a transaction through a mobile device. Therefore, developments to be more effective and accurate in identifying the authenticity of a user with a scanner reader that can only capture a small finger image area are needed. However, when applied in partial to partial fingerprint matching, there is a reduction in the features from full fingerprint image to partial fingerprint image. Therefore, we proposed this research using the combined method of deep learning and feature descriptors for partial fingerprint. The deep learning used in this research is based on the Siamese Network using the CNN architecture and the Feature Descriptor based on the SIFT algorithm to get minimal features from partial fingerprint. As the final result, the matching score is obtained by combining the scores from the two methods used (deep learning and feature descriptor). Then in the combination process, there is a weighting on the score obtained from both sides. The research results have been carried out on several variations of data such as image size, adequate epoch, and the type of dataset used. The results show that the proposed method by combining deep learning and feature descriptors method for the matching score evaluation in the FVC2002 yields an EER value of around 4% for DB1 and DB3. In addition, the result for FRR@FAR 1/50000 validation about 6.36% and 8.11% in the dataset DB1 and DB2. The result shows that the proposed method has good results in the implementation of partial fingerprint recognition. The development in further research can be developed using a dataset with a higher resolution. So that even though the recognition is carried out on a partial image, it still has featured in the form of detailed pores of a fingerprint and can use other deep learning methods to reduce the complexity of the training process.

Kata Kunci : partial fingerprint, deep learning, convolutional neural network, feature descriptor, combined matching evaluation