Laporkan Masalah

Pencarian Objek pada Video Real Time Menggunakan Algoritma Oriented FAST and Rotated BRIEF

FAISAL DHARMA A, Drs. Agus Harjoko, M.Sc., Ph.D. ; Wahyono, S.Kom. Ph.D.

2020 | Tesis | MAGISTER ILMU KOMPUTER

Tahap utama pencarian objek pada video adalah pra-pemrosesan dan ekstraksi fitur. Pengolahan video dengan memproses semua frame tidak efisien. Metode ekstraksi fitur yang sering digunakan untuk mengolah frame video adalah SIFT dan SURF. Penggunaan algoritma SIFT akurat namun lambat, sebaliknya SURF cepat namun kurang akurat. Oleh karena itu, perlunya seleksi keyframe dan metode ekstraksi fitur yang cepat dan akurat dalam pencarian objek pada video real time. Video dilakukan pra-pemrosesan dengan ekstraksi video menjadi frame. Tahap selanjutnya dilakukan seleksi keyframe menggunakan mutual informasi entropi. Kemudian keyframe dilakukan ekstraksi fitur menggunakan ORB. Selanjutnya dilakukan klustering untuk deteksi multiple objek. Hasil klustering dilakukan pencocokan template matching dengan citra query. Sebagai tambahan dilakukan pengujian menggunakan machine learning. Hasil pengujian menunjukkan seleksi keyframe sangat membantu pemrosesan real time karena kecepatan seleksi keyframe lebih cepat dibanding proses ekstraksi fitur. Penerapan template matching, ORB menghasilkan F_1 0,81 yang tidak jauh berbeda dari SIFT 0,97 sementara SURF 0,73 serta waktu pemrosesan ORB paling cepat yaitu 0,902 detik dibanding SIFT 1,931 detik dan SURF 1,893 detik. Penerapan machine learning menghasilkan ORB paling cepat, yaitu 0,219 detik, sementara SIFT 1,011 detik dan SURF 0,503 detik serta F_1 ORB paling unggul, yaitu 0,9 dibanding SIFT 0,63 dan SURF 0,65.

The main stages in object searching on video are pre-processing and feature extraction. Processing video in all frames is inefficient. The methods of feature extraction that is often used to process video frames is SIFT and SURF. SIFT is very accurate but slow, while SURF is fast but less accurate. Therefore, keyframe selection and feature extraction method that fast and accurate are needed in object searching on real time video. Video is pre-processed by extracting video into frames. Frames are selected into keyframes using mutual information entropy. Then, keyframes are extracted using ORB. The multiple object detection is done by clustering. The results of feature extraction are matched using template matching with query image. In addition, machine learning is also done for testing on this algorithm. The experiment shows that keyframe selection is very helpful in real time processing because keyframe selection speed is faster than feature extraction. In template matching, ORB is resulting F_1 of 0.81 which is not too different from SIFT of 0.97 and SURF of 0.73, the processing time of ORB is the fastest at 0.902 seconds compared to SIFT of 1.931 seconds and SURF of 1.893 seconds. In machine learning, ORB is the fastest, which is 0.219 seconds, while SIFT 1.011 seconds and SURF 0.503 seconds, the F_1 on ORB is the greatest, which is 0.9 compared to SIFT 0.63 and SURF 0.65.

Kata Kunci : Pencarian objek, Video real time, Seleksi keyframe, Mutual Informasi Entropi, ORB

  1. S2-2020-433774-abstract.pdf  
  2. S2-2020-433774-bibliography.pdf  
  3. S2-2020-433774-tableofcontent.pdf  
  4. S2-2020-433774-title.pdf