DETEKSI PLAT NOMOR KENDARAAN MENGGUNAKAN FULLY CONVOLUTIONAL NEURAL NETWORK

DIMAS ELANG SETYOKO, Dr. Raden Sumiharto, S.Si., M.Kom.; Moh. Edi Wibowo, S.Kom., M.Kom., Ph.D.

2021 | Tesis | MAGISTER ILMU KOMPUTER

Deteksi plat nomor memegang peranan penting dalam sistem pengenalan plat nomor. Deteksi plat nomor berdasarkan pencarian keypoint berpotensi untuk mengatasi kelemahan dari metode deteksi berbasis klasifikasi region, seperti waktu pemrosesan yang cukup lama dan lebih sensitif terhadap objek yang memiliki kemiripan dalam hal bentuk, cahaya maupun warna. Keypoint memiliki tingkat variansi yang tinggi sehingga diharapkan lebih baik dalam hal akurasi jika dibandingkan dengan metode deteksi plat nomor berbasis klasifikasi region. Mendapatkan keypoint dapat dilakukan dengan cara mengekstrak puncak atau bagian yang paling terang pada citra heatmap. Fully Convolutional Neural Network (FCN) dimanfaatkan untuk menghasilkan lima citra heatmap yang merupakan representasi empat sudut dan centroid dari plat nomor. Arsitektur FCN yang digunakan terdiri atas dua sub-jaringan yaitu downsampling dan upsampling. Masing-masing sub-jaringan tersebut berfungsi untuk mengekstraksi ciri dan merekonstruksi kembali ciri yang didapatkan ke resolusi yang lebih tinggi. Kesalahan prediksi dari setiap heatmap dihitung menggunakan Mean Square Error (MSE) dan kemudian dioptimasi menggunakan ADAM. Penelitian ini bertujuan untuk mengembangkan metode deteksi plat nomor berdasarkan keypoint dan meningkatkan performa FCN dengan melakukan tuning hyperparameter. Hasil penelitian menunjukkan tingkat akurasi meningkat secara signifikan setelah melakukan konfigurasi hyperparameter. Tingkat akurasi deteksi plat nomor yang berhasil dicapai adalah 92,40% (validasi) dan 93,79% (pengujian) dengan waktu pemrosesan selama 0,055 detik.

The license plate recognition system relies heavily on license plate detection. The shortcoming of detection method based on region classification, such as the long processing time and sensitivity to similar form, light, and color, may be overcome by license plate detection based on keypoint search. As compared to license plate detection method based on region classification, keypoint has a high degree of invariance, so it is supposed to be more accurate. The peak or brightest part of the heatmap image may can be extracted to obtain the keypoint. Five heatmap images representing the four corners and centroid of the license plate are generated using Fully Convolutional Neural Network (FCN). The FCN architecture used consists of two sub-networks, namely downsampling and upsampling. Each of these sub-networks is responsible for extracting features and reconstructing them to a higher resolution. Mean Square Error (MSE) is used to measure each heatmap prediction error, which is then optimized using ADAM. The aim of this research is to develop a keypoint-based license plate detection method and improve FCN performance by tuning hyperparameters. After tuning the hyperparameter, the results showed that the degree of accuracy increased significantly. License plate detection accuracy was 92,40% (validation) and 93,79% (testing).

Kata Kunci : Deteksi Plat Nomor Kendaraan, Keypoint, Heatmap, Fully Convolutional Neural Network, FCN