Sistem Content Based Image Retrieval (CBIR) Citra Kain Tenun Ikat Nusa Tenggara Timur Menggunakan Metode Modified Convolutional Neural Network (MCNN)
Silvester Tena, Dr. Ir. Rudy Hartanto, M.T., IPM.
2024 | Disertasi | S3 Teknik Elektro
Content-Based Image Retrieval (CBIR) merupakan suatu teknik pengenalan citra
menggunakan fitur visualnya seperti warna, bentuk, tekstur, dan informasi spasial. Image
retrieval bertujuan untuk memenuhi informasi citra bagi pengguna dan mengurangi citra yang
tidak relevan. Kinerja image retrieval dipengaruhi proses pemilihan jenis fitur, metode
ekstraksi, dan metode pengukuran kemiripan antara citra uji dan citra latih. Sistem
pembelajaran mesin, yang dikenal sebagai machine learning merupakan bagian dari bidang
ilmu kecerdasan buatan (Artificial Intelligence). Perkembangan metode pembelajaran mesin
untuk mengenali citra berdasarkan ciri visual telah dilakukan para peneliti sampai saat ini.
Dalam bidang fabric image retrieval metode ekstraksi fitur dan pengukuran kemiripan masih
menjadi tantangan penelitian. Salah satu jenis citra fabric adalah kain tenun ikat Nusa
Tenggara Timur (NTT). Kain tenun ikat NTT memiliki karakteristik yang unik dengan pola
kontur dan geometris bervariasi sehingga dibutuhkan metode ekstraksi fitur yang sesuai. Jenis
kain motif yang banyak menyulitkan pengguna untuk mengenali jenis dan daerah asalnya.
Namun sampai saat ini belum terdapat dataset kain tenun ikat NTT sebagai objek penelitian
dalam bidang image retrieval. Penelitian sebelumnya hanya menggunakan beberapa jenis
kain motif yang diuji dengan metode machine learning. Pemilihan fitur tekstur pada citra kain
tenun yang kaya akan warna mengakibatkan rendahnya akurasi retrieval. Permasalahan
dalam pemilihan jenis fitur dan metode ekstraksi yang tidak sesuai dengan karakteristik citra
akan berpengaruh pada akurasi retrieval.
Penelitian yang dilakukan yakni membuat dataset citra kain tenun ikat NTT dan
mendesain sistem CBIR berdasarkan ekstraksi fitur metode Modified Convolutional Neural
Network (CNN). Metode CNN memiliki keunggulan yakni dapat mengenali objek lebih baik
dan mendukung dataset besar. Fitur citra kain tenun ikat akan diekstraksi dengan model pre-trained CNN dan Modified CNN (MCNN). Metode Locality Sensitive Hashing (LSH)
digunakan untuk mengubah vektor fitur menjadi kode indeks biner agar mengurangi waktu
pencarian pada proses pengukuran kemiripan. Metode pengukuran kemiripan (similarity
measure) antara citra uji dan citra latih yakni Hamming Distance.
Hasil penelitian pertama adalah dataset TenunIkatNet. Dataset tersebut dikumpulkan
dari Dekranasda Provinsi NTT dan toko kain tenun. Variasi pengambilan gambar yakni difoto
dalam dan diluar mini studio box, diberi latar belakang kain lain, digantung, dan dipakai pada
tubuh manusia. Jumlah pengambilan gambar sebanyak 4.800 citra dari 120 jenis kain tenun
ikat NTT. Setiap jenis kain tenun ikat sebanyak 40 citra. Pengujian dataset untuk retrieval
citra dengan model pre-trained CNN dan modified CNN. Beberapa model pre-trained CNN
yang digunakan untuk benchmarking yakni VGG16, ResNet101, InceptionV3, Inception
ResNetV2, DenseNet201, MobileNetV2, dan Xception. Arsitektur model Modified CNN
terdiri dari 3 layer konvolusi dan 3 fully connected layer. Hasil pengujian menunjukkan
bahwa model Modified CNN menghasilkan kinerja terbaik dibandingkan dengan model pre-trained. Modified CNN adalah hasil penelitian kedua sebagai optimasi model yang sesuai
dengan karakteristik dataset TenunIkatNet. Akurasi retrieval pada top-1 untuk model pre-trained dan Modified CNN memberikan akurasi sebesar 100%. Model Modified CNN lebih
unggul dibandingkan ketujuh model pre-trained untuk top-5 ke atas. Nilai akurasi retrieval
yang diperoleh pada top-5, top-10, top-20, dan top-50 berturut-turut 99,9375%, 99,9063%,
99,7396 %, dan 98,9417 %. Akurasi retrieval rata-rata sebesar 99,7050%. Waktu retrieval
rata-rata model modified CNN yakni 0,252 detik. Dataset yang dibangun dapat
dimanfaatkan untuk pengembangan metode dalam bidang image retrieval dan basis
pengetahuan kelestarian jenis kain motif NTT.
Content-Based Image
Retrieval (CBIR) is an image recognition technique that employs visual features
such as color, shape, texture, and spatial information. The primary objective
of image retrieval is to provide users with relevant information while reducing
irrelevant images. The performance of image retrieval is influenced by
selecting the type of features, extraction methods, and the methods used to
measure the similarity between test images and training images. Machine
learning systems, a part of the field of Artificial Intelligence, play a role
in this. Developing machine learning methods to recognize images based on
visual characteristics has been an ongoing research focus. In the field of
fabric image retrieval, the methods of feature extraction and similarity
measurement continue to be research challenges. One type of fabric image is the
woven ikat fabric from East Nusa Tenggara (NTT). NTT ikat fabric has unique
characteristics with varied contour and geometric patterns, necessitating
suitable feature extraction methods. The variety of fabric patterns makes it
difficult for users to recognize the type and origin of the fabric. However,
there is no dataset of NTT ikat fabric as a research object in image retrieval.
Previous research only utilized a few types of fabric patterns tested with
machine learning methods. Choosing texture features in colorful woven fabric
images results in low retrieval accuracy. Issues in selecting the appropriate
type of features and extraction methods that match the characteristics of the
image will affect retrieval accuracy.
The research conducted
involved creating a dataset of Nusa Tenggara Timur (NTT) woven ikat fabric images
and designing a Content-Based Image retrieval (CBIR) system based on Modified Convolutional Neural Network (MCNN) feature extraction methods.
CNN method offers the advantage of superior object recognition and supports
large datasets. Image features of the woven ikat fabrics will be extracted
using pre-trained Convolutional Neural Network (CNN) and Modified CNN (MCNN)
models. The Locality Sensitive Hashing (LSH) method converts feature vectors
into binary index codes, thereby reducing search time in the similarity measurement process. The method of measuring the
similarity between test images and training images is the Hamming Distance.
The first result of the research is the
TenunIkatNet dataset. This dataset was collected from the Dekranasda Provinsi
NTT (Dekranasda) and woven
fabric stores. Various image acquisition methods were employed, including
indoor and outdoor photography in a mini studio box with different fabric
backgrounds, hanging, and wearing the fabric on human bodies. A total of 4,800
images were captured, representing 120 types of NTT woven ikat fabrics. Every
kind of woven ikat fabric comprises 40 images. The dataset was tested for image
retrieval using pre-trained CNN models and a modified CNN model. Some
pre-trained CNN models used for benchmarking included VGG16, ResNet101,
InceptionV3, Inception ResNetV2, DenseNet201, MobileNetV2, and Xception. The
test results indicate that the Modified CNN model outperforms the pre-trained
models. The Modified CNN is the outcome of the second research phase, tailored
to optimize the characteristics of the TenunIkatNet dataset. The retrieval
accuracy at top-1 for pre-trained and Modified CNN models is 100%. The Modified
CNN model surpasses the seven pre-trained models for top-5 and beyond. The
retrieval accuracy values obtained for top-5, top-10, top-20, and top-50 are
99.9375%, 99.9063%, 99.7396%, and 98.9417%, respectively. The average retrieval accuracy is 99.7050%. The average
retrieval time for the Modified CNN model is 0.252 seconds. The
constructed dataset can be utilized to develop methods in the field of image
retrieval and as a knowledge base for the preservation of Nusa Tenggara Timur
(NTT) patterned fabric types
Kata Kunci : CBIR, feature extraction, pre-trained model, MCNN, ikat woven fabric