Sistem Content Based Image Retrieval (CBIR) Citra Kain Tenun Ikat Nusa Tenggara Timur Menggunakan Metode Modified Convolutional Neural Network (MCNN)

Silvester Tena, Dr. Ir. Rudy Hartanto, M.T., IPM.

2024 | Disertasi | S3 Teknik Elektro

Content-Based Image Retrieval (CBIR) merupakan suatu teknik pengenalan citra menggunakan fitur visualnya seperti warna, bentuk, tekstur, dan informasi spasial. Image retrieval bertujuan untuk memenuhi informasi citra bagi pengguna dan mengurangi citra yang tidak relevan. Kinerja image retrieval dipengaruhi proses pemilihan jenis fitur, metode ekstraksi, dan metode pengukuran kemiripan antara citra uji dan citra latih. Sistem pembelajaran mesin, yang dikenal sebagai machine learning merupakan bagian dari bidang ilmu kecerdasan buatan (Artificial Intelligence). Perkembangan metode pembelajaran mesin untuk mengenali citra berdasarkan ciri visual telah dilakukan para peneliti sampai saat ini. Dalam bidang fabric image retrieval metode ekstraksi fitur dan pengukuran kemiripan masih menjadi tantangan penelitian. Salah satu jenis citra fabric adalah kain tenun ikat Nusa Tenggara Timur (NTT). Kain tenun ikat NTT memiliki karakteristik yang unik dengan pola kontur dan geometris bervariasi sehingga dibutuhkan metode ekstraksi fitur yang sesuai. Jenis kain motif yang banyak menyulitkan pengguna untuk mengenali jenis dan daerah asalnya. Namun sampai saat ini belum terdapat dataset kain tenun ikat NTT sebagai objek penelitian dalam bidang image retrieval. Penelitian sebelumnya hanya menggunakan beberapa jenis kain motif yang diuji dengan metode machine learning. Pemilihan fitur tekstur pada citra kain tenun yang kaya akan warna mengakibatkan rendahnya akurasi retrieval. Permasalahan dalam pemilihan jenis fitur dan metode ekstraksi yang tidak sesuai dengan karakteristik citra akan berpengaruh pada akurasi retrieval. Penelitian yang dilakukan yakni membuat dataset citra kain tenun ikat NTT dan mendesain sistem CBIR berdasarkan ekstraksi fitur metode Modified Convolutional Neural Network (CNN). Metode CNN memiliki keunggulan yakni dapat mengenali objek lebih baik dan mendukung dataset besar. Fitur citra kain tenun ikat akan diekstraksi dengan model pre-trained CNN dan Modified CNN (MCNN). Metode Locality Sensitive Hashing (LSH) digunakan untuk mengubah vektor fitur menjadi kode indeks biner agar mengurangi waktu pencarian pada proses pengukuran kemiripan. Metode pengukuran kemiripan (similarity measure) antara citra uji dan citra latih yakni Hamming Distance. Hasil penelitian pertama adalah dataset TenunIkatNet. Dataset tersebut dikumpulkan dari Dekranasda Provinsi NTT dan toko kain tenun. Variasi pengambilan gambar yakni difoto dalam dan diluar mini studio box, diberi latar belakang kain lain, digantung, dan dipakai pada tubuh manusia. Jumlah pengambilan gambar sebanyak 4.800 citra dari 120 jenis kain tenun ikat NTT. Setiap jenis kain tenun ikat sebanyak 40 citra. Pengujian dataset untuk retrieval citra dengan model pre-trained CNN dan modified CNN. Beberapa model pre-trained CNN yang digunakan untuk benchmarking yakni VGG16, ResNet101, InceptionV3, Inception ResNetV2, DenseNet201, MobileNetV2, dan Xception. Arsitektur model Modified CNN terdiri dari 3 layer konvolusi dan 3 fully connected layer. Hasil pengujian menunjukkan bahwa model Modified CNN menghasilkan kinerja terbaik dibandingkan dengan model pre-trained. Modified CNN adalah hasil penelitian kedua sebagai optimasi model yang sesuai dengan karakteristik dataset TenunIkatNet. Akurasi retrieval pada top-1 untuk model pre-trained dan Modified CNN memberikan akurasi sebesar 100%. Model Modified CNN lebih unggul dibandingkan ketujuh model pre-trained untuk top-5 ke atas. Nilai akurasi retrieval yang diperoleh pada top-5, top-10, top-20, dan top-50 berturut-turut 99,9375%, 99,9063%, 99,7396 %, dan 98,9417 %. Akurasi retrieval rata-rata sebesar 99,7050%. Waktu retrieval rata-rata model modified CNN yakni 0,252 detik. Dataset yang dibangun dapat dimanfaatkan untuk pengembangan metode dalam bidang image retrieval dan basis pengetahuan kelestarian jenis kain motif NTT.

Content-Based Image Retrieval (CBIR) is an image recognition technique that employs visual features such as color, shape, texture, and spatial information. The primary objective of image retrieval is to provide users with relevant information while reducing irrelevant images. The performance of image retrieval is influenced by selecting the type of features, extraction methods, and the methods used to measure the similarity between test images and training images. Machine learning systems, a part of the field of Artificial Intelligence, play a role in this. Developing machine learning methods to recognize images based on visual characteristics has been an ongoing research focus. In the field of fabric image retrieval, the methods of feature extraction and similarity measurement continue to be research challenges. One type of fabric image is the woven ikat fabric from East Nusa Tenggara (NTT). NTT ikat fabric has unique characteristics with varied contour and geometric patterns, necessitating suitable feature extraction methods. The variety of fabric patterns makes it difficult for users to recognize the type and origin of the fabric. However, there is no dataset of NTT ikat fabric as a research object in image retrieval. Previous research only utilized a few types of fabric patterns tested with machine learning methods. Choosing texture features in colorful woven fabric images results in low retrieval accuracy. Issues in selecting the appropriate type of features and extraction methods that match the characteristics of the image will affect retrieval accuracy.

The research conducted involved creating a dataset of Nusa Tenggara Timur (NTT) woven ikat fabric images and designing a Content-Based Image retrieval (CBIR) system based on Modified Convolutional Neural Network (MCNN) feature extraction methods. CNN method offers the advantage of superior object recognition and supports large datasets. Image features of the woven ikat fabrics will be extracted using pre-trained Convolutional Neural Network (CNN) and Modified CNN (MCNN) models. The Locality Sensitive Hashing (LSH) method converts feature vectors into binary index codes, thereby reducing search time in the similarity measurement process. The method of measuring the similarity between test images and training images is the Hamming Distance.

The first result of the research is the TenunIkatNet dataset. This dataset was collected from the Dekranasda Provinsi NTT (Dekranasda) and woven fabric stores. Various image acquisition methods were employed, including indoor and outdoor photography in a mini studio box with different fabric backgrounds, hanging, and wearing the fabric on human bodies. A total of 4,800 images were captured, representing 120 types of NTT woven ikat fabrics. Every kind of woven ikat fabric comprises 40 images. The dataset was tested for image retrieval using pre-trained CNN models and a modified CNN model. Some pre-trained CNN models used for benchmarking included VGG16, ResNet101, InceptionV3, Inception ResNetV2, DenseNet201, MobileNetV2, and Xception. The test results indicate that the Modified CNN model outperforms the pre-trained models. The Modified CNN is the outcome of the second research phase, tailored to optimize the characteristics of the TenunIkatNet dataset. The retrieval accuracy at top-1 for pre-trained and Modified CNN models is 100%. The Modified CNN model surpasses the seven pre-trained models for top-5 and beyond. The retrieval accuracy values obtained for top-5, top-10, top-20, and top-50 are 99.9375%, 99.9063%, 99.7396%, and 98.9417%, respectively. The average retrieval accuracy is 99.7050%. The average retrieval time for the Modified CNN model is 0.252 seconds. The constructed dataset can be utilized to develop methods in the field of image retrieval and as a knowledge base for the preservation of Nusa Tenggara Timur (NTT) patterned fabric types

Kata Kunci : CBIR, feature extraction, pre-trained model, MCNN, ikat woven fabric