REGRESI BOUNDING BOX PADA SLIDING WINDOW DAN CNN UNTUK MENINGKATKAN NILAI OVERLAP PADA SEGMENTASI KARAKTER PLAT KENDARAAN

AHMAD TAUFIQ M, Agus Bejo; Risanuri Hidayat

2020 | Tesis | MAGISTER TEKNIK ELEKTRO

Pengenalan plat kendaraan secara otomatis dengan visi komputer dapat menjadi solusi terhadap tingkat pengawasan lalu lintas yang rendah oleh manusia. Teknologi yang digunakan untuk melakukan pengenalan plat kendaraan secara otomatis adalah ANPR (Automatic Number Plate Recognition). Secara umum, algoritme dalam ANPR dibagi dalam tiga tahap. Salah satu tahap pada ANPR adalah segmentasi karakter, yang merupakan tahap untuk memisahkan karakter pada citra plat kendaraan. Hasil dari segmentasi karakter akan mempengaruhi hasil dari proses pengenalan plat. Salah satu tantangan dari segmentasi karakter adalah perolehan nilai overlap yang tinggi dari hasil segmentasi terhadap ground truth. Tingginya nilai overlap dari segmentasi akan cenderung menghasilkan pengenalan karakter dengan performa yang baik, karena hanya berfokus pada area karakter. Pada tesis ini, dilakukan penelitian yang bertujuan untuk meningkatkan nilai overlap dari segmentasi karakter yang menggunakan sliding window dan CNN (Convolutional Neural Network). Untuk melakukan peningkatan tersebut, ditambahkan CNN yang digunakan untuk melakukan regresi bounding box secara class-agnostic. Data yang digunakan dalam penelitian ini adalah citra plat kendaraan Indonesia sebanyak 740, dimana 460 (3503 karakter) digunakan untuk pembelajaran model dan 280 (2026 karakter) untuk pengujian. Pengujian dilakukan dalam dua tahap: tahap pertama adalah deteksi karakter dengan sliding window dan CNN, dan tahap kedua adalah perbaikan bounding box dari hasil deteksi dengan bounding box regressor yang telah dibangun. Dari hasil implementasi model yang diajukan, didapatkan peningkatan rerata IoU (Intersection over Union) dari 0.4811 menjadi 0.8980. Performa model secara keseluruhan pada batas IoU 0.8 adalah precision sebesar 0.9571 dan recall sebesar 0.9590.

Automatic recognition of license plate using computer vision can be a solution to the poor traffic control and monitoring by human. The technology that is used to automatically recognize vehicle license plate is ANPR (Automatic Number Plate Recognition). In general, the algorithm in ANPR is divided into three stages. One of the stages is character segmentation, which is the stage for separating characters on license plate. The result of character segmentation will affect the result of license plate recognition. One of the challenges in character segmentation is the acquisition of high overlap value between segmentation and ground truth. High overlap value of segmentation tends to produce better performance in recognition, because the recognition only focuses on the character area. In this thesis, a research was conducted which aimed to increase the overlap value of a character segmentation that uses sliding window and CNN (Convolutional Neural Network). To make this improvement, a CNN was added to the initial model to do class-agnostic bounding box regression. 740 Indonesian license plate images were used in this research, 460 (3503 characters) were used for model training and 280 (2026 characters) for testing. The test was done in two stages: the first stage is the detection of characters with sliding window and CNN, and the second stage is the improvement of the bounding box from the detection result with the developed bounding box regressor. The implementation of this proposed model obtained an improvement, which the average of IoU (Intersection over Union) increased from 0.4811 to 0.8980. The overall model performance on IoU 0.8 threshold was 0.9571 of precision and 0.9590 of recall.

Kata Kunci : ANPR, CNN, character segmentation, sliding window, bounding box regressor