Model Deteksi dan Retrieval Tas Punggun Pada Long-Term Video Surveillance

RAHMAD HIDAYAT, Drs Agus Harjoko, M.Sc., Ph.D; Aina Musdholifah S.Kom., M.Kom., Ph.D

2022 | Disertasi | DOKTOR ILMU KOMPUTER

Salah satu tahapan penting pada model deteksi carried object (CO) adalah proses lokalisasi area dimana sebuah CO berada. Terdapat berbagai metode lokalisasi area CO antara lain: protrusion, temporal template, dan berbagai fitur geometri. Fitur protrusion dan temporal template dibangun berdasarkan asumsi bahwa CO menonjol dari siluet pedestrian, sehingga CO yang overlap dengan tubuh pedestrian tidak dapat dideteksi. Sementara itu, fitur geometri sangat sensitif terhadap noise, selain itu, ukuran dan bentuk CO yang sangat bervariasi juga sangat mempengaruhi keberhasilan deteksi. Penelitian ini mengembangkan model deteksi dengan memanfaatkan proses segmentasi untuk melokalisasi area tas punggung pada citra pedestrian. Citra pedestrian disegmentasi berdasarkan kesamaan warna dan lokasi piksel pada citra. Proses segmentasi dilakukan dengan ukuran yang berbeda untuk mengantisipasi ukuran objek yang berbeda. Segmen yang terbentuk dari proses segmentasi kemudian diseleksi berdasarkan body-part dimana hanya segmen yang terletak di atas garis punggung saja yang kemudian diklasifikasi sebagai kelas tas punggung atau kelas selainnya. Pengujian pada model deteksi tas pungung dilakukan pada tiga dataset yaitu DIKE20, PETS2006, dan i-LIDS. Hasil eksperimen menunjukan skor rata-rata F1 didapat oleh model deteksi CO yaitu sebesar 0,68 meningkat sebesar 5% dari skor F1 yang didapat model state-of-art. Tas punggung yang telah diklasifikasi selanjutnya disimpan dalam database. Agar proses pencarian tas punggung dimasa yang akan datang dapat lebih cepat, penelitian ini juga mengembangkan model retrieval berakurasi tinggi. Fitur low-level yang terdiri dari warna, tekstur, dan bentuk dari citra tas punggung diekstraksi dan diklasterisasi secara hierarkis. Pada fitur warna terdapat tiga klaster untuk masing-masing channel warna, sementara untuk fitur tekstur terdapat empat klaster untuk masing-masing sudut. Pada fitur bentuk yang terdiri dari tujuh moment, hanya terdapat terdapat satu klaster saja. Klaster-klaster yang telah terbentuk pada masing-masing fitur kemudian divalidasi untuk mendapatkan jumlah klaster yang optimal. Pada proses retrieval, fitur citra query dibandingkan dengan pusat masing-masing klaster. Hasil retrieval pada masing-masing klaster fitur kemudian diberi bobot dan kemudian diurutkan. Hasil eksperimen pada dataset Corel-1k menunjukan peningkatan sebesar 2%, sedangkan pada dataset Corel-10k skor presisi yang didapat oleh model yaitu sebesar 0,62 meningkat sebesar 5% dari model starte-of-art.

One of the critical phases in the carried object (CO) detection model is localizing the CO area. There are various methods of localizing the CO area, including protrusion, temporal template, and various geometry features. The protrusion and temporal template features are built on the assumption that CO stands out from the pedestrian silhouette so that the CO that fully overlaps with the pedestrian's body cannot be detected. Meanwhile, the geometry features are susceptible to noise. In addition, the varied size and shape of the CO also dramatically affects the detection ability. This study develops a detection model by utilizing the segmentation process to localize the backpack area in the pedestrian image. The pixels of pedestrian images are segmented based on their color and location in the image. The segmentation process is carried out with different scales to anticipate the different sizes of the backpack. The superpixels formed from the segmentation process are then selected based on body-parts, where only superpixels located above the bend-line are then classified. The experiment on the backpack detection model was carried out on three datasets, namely DIKE20, PETS2006, and i-LIDS. The experimental results show that the average F1 score obtained by the CO detection model is 0.68, an increase of 5% from the F1 score obtained by the state-of-art model. The classified backpacks are then stored in the database. In order to make the retrieval process of the backpacks faster in the future, this study also developed a high-accuracy image retrieval model. The backpack image's low-level features consisting of colors, textures, and shapes are extracted and hierarchically clustered. There are three clusters for each color channel in the color feature, while for the texture feature, there are four clusters for each direction. There is only one cluster in a shape feature consisting of seven moments. The clusters that have been formed in each feature are then validated to obtain the optimal number of clusters. In the retrieval process, the query image features are compared with the center of each cluster. The retrieval results on each feature cluster are then weighted and then sorted. The precision score on the Corel-1k dataset showed an increase of 2%, while in the Corel-10k dataset, the precision score obtained is 0.62, increased by 5% from the start-of-art model.

Kata Kunci : deteksi objek, tas punggung, segmentasi, body-part, klasterisasi, fitur low-level