Fusi Fitur Low-level dan Deep Ensemble Convolutional Neural Network dan Pengaruhnya terhadap Performa Temu Kembali Citra Berbasis Konten (CBIR)

HIZKYA FIRSTADIPA HARTOKO, Dr. techn. Khabib Mustofa, S.Si., M.Kom.

2024 | Skripsi | ILMU KOMPUTER

Seiring berkembangnya kebutuhan efektivitas pencarian suatu objek atau produk dalam teknologi informasi, diperlukan metode pencarian yang lebih efektif dan efisien. Salah satu metode yang dapat digunakan adalah Content Based Image Retrieval (CBIR). Dalam CBIR salah satu aspek yang penting adalah metode ekstraksi fitur yang digunakan sebagai deskriptor citra. Fitur yang digunakan ini merepresentasikan informasi dari citra yang akan digunakan untuk mencari citra yang relevan dari database. Jenis fitur seperti low-level feature (LLF) umumnya memiliki keterbatasan dalam menangkap iformasi karakteristik dari citra yang kompleks. Di satu sisi, Deep Convolutional Neural Network (DCNN) menunjukkan perkembangan yang semakin efektif dalam mengekstrak fitur dari citra pada proses klasifikasi.

Fokus daripada penelitian ini adalah adalah menerapkan dan mengevaluasi pendekatan fusi fitur LLF dan fitur dari model DCNN terhadap efektivitas pencarian citra dengan CBIR dari sisi rata-rata presisi pencarian yang dihasilkan. Proses pencarian citra dengan CBIR memerlukan ekstraksi fitur dengan LLF dan DCNN sebagai deskriptor. Model deskriptor fitur DCNN dilatih untuk menyesuaikan dengan dataset yang digunakan, dan perhitungan similaritas antara fitur kueri dan database. Jenis fitur meliputi warna, tekstur, bentuk dan model DCNN dengan jenis arsitektur yaitu ResNet50, InceptionV3, EfficientNetB0, dan fusi ketiganya yaitu Fused DCNN. 

Hasil penelitian menunjukkan bahwa penggabungan fitur dapat meningkatkan performa CBIR dari akurasi retrieval tertinggi pada skenario pengujian beberapa dataset citra dengan peningkatan Mean Average Precision (MAP) sebesar 18% hingga 38% dibandingkan fitur LLF saja, dan 1% hingga 5% dibandingkan fitur DCNN saja.

As the need for more effective and efficient object or product searches in information technology grows, a more effective search method is required. One method that can be used is Content-Based Image Retrieval (CBIR). In CBIR, one of the critical aspects is the feature extraction method used as an image descriptor. These features represent information from the image that will be used to search for relevant images from the database. Low-level features often have limitations in capturing the characteristic information of complex images. On the other hand, Deep Convolutional Neural Networks (DCNN) have shown increasing effectiveness in extracting image features in classification processes.

The focus of this research is to implement and evaluate the approach of combining LLF and DCNN features in terms of the effectiveness of image retrieval using CBIR, particularly in terms of the average search precision produced. Image retrieval with CBIR requires feature extraction using low-level features and DCNN as descriptors. The DCNN feature descriptor model is trained to fit the dataset used, and similarity calculations are performed between the query features and the database. Feature kinds include color, texture, shape, and DCNNs, with architectures include ResNet50, InceptionV3, EfficientNetB0, and a fusion of the three (Fused DCNN).

The research results show that feature fusion can improve CBIR performance. Testing on several image datasets demonstrated an increase in Mean Average Precision (MAP) by 18% to 38% compared to using LLF alone, and by 1% to 5% compared to using DCNN alone. this concludes that combination of LLF and DCNN features able to produce the highest retrieval accuracy.

Kata Kunci : temu kembali citra berbasis konten, CBIR, pencarian citra, fusi fitur, penggabungan fitur, fitur low-level, CNN, temu kembali informasi, pengolahan citra