PERBAIKAN AKURASI SISTEM PENGENALAN PLAT NOMOR MENGGUNAKAN KOMBINASI MULTI-TASK CASCADED CONVOLUTIONAL NEURAL NETWORK (MTCNN) DAN SCENE TEXT RECOGNITION FRAMEWORK

VICTOR PETRUS WAROY, Dr.Eng. Igi Ardiyanto, S.T., M.Eng.;Dr.Eng. Ir. Sunu Wibirama, S.T., M.Eng., IPM.

2022 | Tesis | MAGISTER TEKNOLOGI INFORMASI

Kendaraan Bermotor merupakan salah satu sarana transportasi darat yang penting dan banyak digunakan. Penggunaan kendaraan bermotor mengalami peningkatan dari tahun ke tahun dan menyebabkan sejumlah persoalan di antaranya kecelakaan lalu lintas, kriminalitas dan tunggakan pajak kendaraan bermotor. Sistem pengenalan plat nomor diperlukan untuk mendeteksi dan mengawasi lalu lintas kendaraan bermotor. Terdapat beberapa kesulitan utama dalam implementasi sistem tersebut pada kondisi riil seperti plat nomor miring akibat distorsi perspektif, gangguan pada citra (noise), dan citra yang kabur (blur). Selain itu, belum tersedia dataset plat nomor Indonesia yang relevan untuk pengenalan plat dengan distorsi perspektif. Penelitian ini bertujuan untuk meningkatkan akurasi sistem pengenalan plat nomor khususnya plat nomor terdistorsi perspektif. Kami mengusulkan kombinasi metode Multi-Task Cascaded Convolutional Neural Network (MTCNN) sebagai metode deteksi dan framework Scene Text Recognition untuk pengenalan teks. Framework Scene Text Recognition disebut sebagai TRBA yang merupakan gabungan dari Thin Plate Spline (TPS), Residual Network (ResNet), Bi-decoder Long Short Term Memory (Bi-LSTM), dan Attention Network (Attn). Untuk tujuan penelitian, kami juga menghimpun 10.000 gambar dataset citra plat kendaraan di Indonesia. Metode yang kami usulkan mampu meningkatkan akurasi sebesar 26,66% bila dibandingkan dengan penelitian sebelumnya yang menggunakan metode tradisional image processing-machine learning. Akurasi rata-rata yang diperoleh sebesar 91,41% untuk dataset penelitian sebelumnya sejumlah 128 gambar. Peningkatan akurasi berkisar 0,7-8,1% juga diperoleh dari perbandingan dengan sejumlah kombinasi metode deep learning lainnya. Akurasi keseluruhan mencapai 98,2% pada dataset test 1000 gambar. Berdasarkan hasil tersebut, metode yang diusulkan mampu meningkatkan akurasi deteksi dan pengenalan plat nomor terdistorsi perspektif. Metode ini dapat dijadikan referensi dalam penelitian dan digunakan untuk peningkatan kehandalan sistem pengenalan plat nomor.

Automotive vehicles are one of the most important and widely used for land transportation. The use of automotive vehicles has increased yearly and has caused several problems, including traffic accidents, crime, and vehicle tax arrears. A number plate recognition system is needed to detect and monitor automotive vehicle traffic. There are several difficulties in implementing the system in actual conditions, such as tilted license plates due to perspective distortion, image noise, and blurred images. In addition, there is no relevant Indonesian number plate dataset for plate recognition with perspective distortion. This study aims to improve accuracy of number plate recognition systems, especially in handling distorted perspective license plates. We propose a combination of the Multi-Task Cascaded Convolutional Neural Network (MTCNN) as a detection method and the Scene Text Recognition framework for text recognition. Scene Text Recognition framework is referred as TRBA, which is a combination of Thin Plate Spline (TPS), Residual Network (ResNet), Bi-decoder Long Short Term Memory (Bi-LSTM), and Attention Network (Attn). For experimental purpose, we collected a 10,000 images dataset of vehicle license plate in Indonesia. Our proposed method improves the accuracy by 26.66% compared with previous studies that are based on traditional image processing-machine learning techniques. The average accuracy of our proposed method is 91.41% on the prior research dataset of 128 images. An increase in accuracy ranging from 0.7% to 8.1% is also obtained by comparing several other deep learning method combinations. The overall accuracy reached 98.2% on 1000 images test dataset. Based on these results, the proposed method is superior in improving accuracy of detection and recognition of perspective distorted license plates. Our method is promising to be used as a reference in research, and to improve the number plate recognition system's reliability.

Kata Kunci : pengenalan plat nomor, distorsi perspektif, MTCNN, TRBA