PERSON RE-IDENTIFICATION MENGGUNAKAN PARTIAL SIAMESE NETWORK UNTUK MENANGANI MASALAH OKLUSI PARSIAL PADA OBJEK

MUHAMMAD PAJAR K P, Wahyono, S. Kom., Ph.D.

2020 | Tesis | MAGISTER ILMU KOMPUTER

Person Re-Identification (Re-ID) adalah tugas mencocokkan secara visual satu orang atau kelompok dalam berbagai situasi yang diperoleh dari kamera yang berbeda atau pada kamera yang sama namun pada waktu yang berbeda. Metode ini menggantikan tugas pengawasan melalui kamera pengawas yang sebelumnya dilakukan secara konvensional oleh manusia karena rentan terjadi kesalahan. Tantangan dari Re-ID adalah pose objek yang bervariasi, oklusi, dan penampilan orang yang cenderung mirip. Masalah oklusi mendapat perhatian khusus karena performa dari Re-ID dapat menurun disebabkan oleh oklusi parsial. Hal ini dapat terjadi karena proses re-identifikasi mengandalkan fitur dari orang seperti warna dan motif pakaian. Oklusi mengakibatkan fitur tersebut tidak tertangkap oleh kamera sehingga terjadi kesalahan re-identifikasi. Masalah ini diatasi dengan membagi citra menjadi beberapa bagian (parsial) lalu diproses dalam neural network (NN) yang berbeda namun menggunakan arsitektur yang sama. Penelitian yang dilakukan adalah menerapkan algoritma CNN dengan arsitektur siamese network dan menerapkan fungsi contrastive loss untuk menghitung jarak kemiripan antara sepasang citra. Citra orang akan dibagi menjadi tiga sub-region (kepala, badan, dan kaki) sesuai dengan proporsi tubuh manusia. Proses parsial ini bertujuan agar sebuah sub-region yang terjadi oklusi tidak mempengaruhi proses ekstraksi fitur pada sub-region lain karena setiap sub-region diproses secara independen tanpa saling bergantung satu sama lain. Hasil pengujian menunjukan proses parsial memperoleh akurasi sebesar 86%, 77%, 68%, dan 56% untuk data oklusi 20%, 40%, 60%, dan 80%. Akurasi ini lebih tinggi tiga hingga lima persen dibanding citra tanpa parsial.

Person Re-Identification (Re-ID) is the task of visually matching one person or group in various situations obtained from different cameras or on the same camera but at different times. This method replaces the task of surveillance through surveillance cameras that were previously carried out conventionally by humans because it is prone to errors. The challenges of Re-ID are the various object poses, occlusion, and appearance of people who tend to be similar. The problem of occlusion is of particular concern because the performance of Re-ID can be decreased due to partial occlusion. This can occur because the re-identification process relies on features of the person such as the color and pattern of clothing. The occlusion resulted in the feature not being caught by the camera resulting in a re-identification error. This problem is solved by dividing the image into several parts (partial) and then processed in a different neural network (NN) but using the same architecture. The research conducted is applying the CNN algorithm with siamese network architecture and applying the contrastive loss function to calculate the similarity distance between a pair of images. The image of the person will be divided into three sub-regions (head, body, and feet) according to the proportions of the human body. This partial process aims so that a sub-region that occurs occlusion does not affect the feature extraction process in other sub-regions because each sub-region is processed independently without depending on one another. The test results showed that the partial process obtained an accuracy of 86%, 77%, 68%, and 56% for the occlusion data of 20%, 40%, 60%, and 80%. This accuracy is three to five percent higher than images without partials.

Kata Kunci : CCTV, CNN, video-surveillance, NN, contrastive-loss