Multi-Task Convolutional Neural Network untuk Klasifikasi Fine-Grained Kendaraan Menggunakan Citra Dashboard Camera

Donny Avianto, Prof. Drs. Agus Harjoko, M.Sc., Ph.D.;Afiahayati, S.Kom., M.Cs., Ph.D.

2023 | Disertasi | S3 Ilmu Komputer

Selama ini Intelligent Transportation System (ITS) bertumpu pada kemampuannya untuk mengenali pelat nomor. Namun ada kalanya informasi pelat nomor tidak bisa didapatkan. Oleh karena itu dibutuhkan informasi penting selain pelat nomor yang dapat digunakan untuk mempersempit ruang pencarian. Salah satu informasi penting selain pelat nomor adalah model kendaraan. Akan tetapi, kondisi jalanan saat ini didominasi oleh kendaraan dengan kemiripan fisik yang tinggi seperti Avanza-Xenia. Salah satu cara membedakan model kendaraan tersebut adalah dengan mengetahui pabrikan kendaraannya.

Penelitian ini mengusulkan classifier yang mampu mengenali 2 task secara sekaligus yaitu pabrikan kendaraan dan model kendaraan melalui pendekatan multi-task learning. Classifier usulan dikombinasikan dengan 6 arsitektur baseline CNN sebagai feature extractor-nya untuk melihat peningkatan performa yang terjadi. Classifier yang diusulkan dilatih dan diuji menggunakan dataset primer yang terdiri dari 10 model dan 4 pabrikan. Dashboard camera dipilih sebagai perangkat akuisisi dataset karena potensinya untuk masuk ke dalam ITS melengkapi sistem berbasis CCTV yang telah ada.

Hasil eksperimen menunjukkan bahwa classifier usulan mampu meningkatkan performa seluruh baseline CNN yang digunakan pada semua task. VGG-16 MT menjadi classifier dengan akurasi tertinggi yaitu 98,73% untuk pengenalan pabrikan dan 97,69% untuk pengenalan model. VGG-16 MT juga menghasilkan macro average F1-Score tertinggi dengan 0,98 untuk pengenalan pabrikan dan 0,97 untuk pengenalan model kendaraan. Peningkatan F1-Score pada kelas-kelas model kendaraan membuktikan bahwa kondisi imbalanced, low inter class variance, dan high intra class variance di dalam dataset mampu ditangani oleh classifier usulan. Berdasarkan hasil eksperimen, classifier yang diusulkan mampu menjadi solusi untuk pengenalan model kendaraan dengan tingkat kemiripan visual tinggi.

So far, the Intelligent Transportation System (ITS) has relied on its ability to recognize license plates. However, there are times when license plate information cannot be obtained. Therefore, important information is needed in addition to the license plate that can be used to narrow the search space. One of the other important pieces of information, besides the license plate, is the vehicle model. However, the current road conditions are dominated by vehicles with high physical similarities, such as the Avanza and Xenia. One way to distinguish the vehicle model is to know the vehicle manufacturer.

This research proposes a classifier that is able to recognize two tasks at once, namely vehicle manufacturer and vehicle model, through a multi-task learning approach. The proposed classifier is combined with six CNN baseline architectures as its feature extractor to see the performance improvement. The proposed classifier is trained and tested using a primary dataset consisting of 10 models and 4 manufacturers. Dashboard cameras were chosen as the dataset acquisition device due to their potential to fit into ITS and complement existing CCTV-based systems.

The experimental results show that the proposed classifier is able to improve the performance of all CNN baselines used in all tasks. VGG-16 MT is the classifier with the highest accuracy of 98.73% percent for manufacturer recognition and 97.69% percent for model recognition. VGG-16 MT also produced the highest macro-average F1-Score with 0.98 for manufacturer recognition and 0.97 for vehicle model recognition. The improvement of F1-Score in vehicle model classes proves that the conditions of imbalance, low interclass variance, and high intraclass variance in the dataset can be handled by the proposed classifier. Based on the experimental results, the proposed classifier can be a solution for vehicle model recognition with high visual similarity.

Kata Kunci : Pengenalan Model Kendaraan, Pengenalan Pabrikan Kendaraan, CNN, Multi-task, Dashboard Camera