DETEKSI TANDA TANGAN BERBASIS METODE FASTER REGIONAL CONVOLUTIONAL NEURAL NETWORK (R-CNN)

Dhesa Ardhiyanta, Prof. Drs. Agus Harjoko, M.Sc., Ph.D.

2025 | Tesis | MAGISTER KECERDASAN ARTIFISIAL

Tanda tangan merupakan elemen penting dalam dokumen legalitas. Di Indonesia, keabsahan suatu dokumen tidak hanya ditentukan oleh keberadaan tanda tangan, tetapi juga bergantung pada pemenuhan persyaratan Bea Meterai sebagaimana diatur dalam Undang-Undang Nomor 10 Tahun 2020. Undang-undang tersebut mengakui cap dan meterai sebagai bentuk sah dari tanda tangan, yang pada praktiknya sering menyebabkan terjadinya oklusi terhadap area tanda tangan dalam dokumen digital. Selain itu, variasi posisi tanda tangan turut menjadi tantangan dalam sistem deteksi otomatis.

Penelitian ini bertujuan untuk mengembangkan sistem deteksi tanda tangan yang mampu mengenali tanda tangan dalam berbagai kondisi, termasuk yang tertutup oleh cap, meterai, atau kombinasi keduanya. Metode yang digunakan adalah Faster R-CNN berbasis deep learning. Pelatihan model dilakukan dengan kombinasi teknik, yaitu pemanfaatan bobot awal (pretrained weights) dari COCO dataset, augmentasi data, dan penyesuaian hyperparameter berupa learning rate.

Hasil penelitian menunjukkan bahwa penggunaan bobot awal dari COCO dataset secara signifikan meningkatkan performa model dibandingkan dengan bobot acak. Model dengan arsitektur ResNet50 yang dilatih menggunakan bobot COCO dan learning rate sebesar 0.0001 menghasilkan performa terbaik, mengungguli model ResNet152 dalam konfigurasi yang sama. Model ini mampu mendeteksi tanda tangan dengan average precision sebesar 97.80% untuk kategori tanda tangan (signature), 75.96% untuk tanda tangan bercap (sign_with_stamp), 85.42% untuk tanda tangan bermeterai (sign_with_duty_stamp), dan 77.80% untuk tanda tangan yang tertutup cap dan meterai (sign_with_stamp-duty_stamp). Secara keseluruhan, model mencapai nilai mean average precision (mAP) sebesar 84.24% pada IoU threshold 0.5, 69,39% pada IoU threshold 0.7, dan 55,72% pada IoU threshold 0.8 

Signatures serve as a fundamental component in the validation of legal documents. In Indonesia, the legitimacy of such documents also depends on compliance with stamp duty regulations, as stipulated in Law No. 10 of 2020. This legislation formally recognizes stamps and duty stamps as valid forms of signatures, leading to common occurrences of occlusion in digital signature areas. These occlusions, along with variations in signature positioning, pose challenges for automated signature detection systems and may significantly degrade their performance.

This research presents the development of a robust signature detection system capable of identifying not only unobstructed signatures but also those partially or fully occluded by stamps, duty stamps, or both. The system is based on the Faster R-CNN object detection framework, utilizing deep learning techniques. To enhance model performance, several strategies were employed: leveraging pretrained weights from the COCO dataset, applying comprehensive data augmentation, and performing hyperparameter tuning, particularly on the learning rate.

Experimental results demonstrate that the use of COCO pretrained weights significantly improves detection performance compared to randomly initialized weights. Among the tested configurations, the ResNet50 backbone combined with COCO pre-trained weights and a learning rate of 0.0001 achieved the best performance, outperforming the deeper ResNet152 model under similar conditions. The ResNet50-based model attained an average precision of 97.80% for regular signatures, 75.96% for signatures with stamp occlusion, 85.42% for signatures with duty stamp occlusion, and 77.80% for signatures occluded by both stamps and duty stamps. Overall, the proposed model achieved a mean Average Precision (mAP) of 84.24% at an IoU threshold of 0.5, 69.39% at IoU threshold of 0.7, and 55.72% at IoU threshold of 0.8.

Kata Kunci : Tanda Tangan, Deteksi Objek, Faster R-CNN, Transfer Learning, Deep Learning