Pengenalan Citra Tokoh Wayang Kulit Purwa Gaya Yogyakarta Berbasis Fitur Bag of Visual Words

MUHAMMAD FADHLAN, Raden Sumiharto, S.Si., M.Kom., Dr.

2022 | Skripsi | S1 ELEKTRONIKA DAN INSTRUMENTASI

Wayang Kulit merupakan salah satu kebudayaan asli Indonesia yang mengandung makna budi pekerti. Sayangnya, wayang kulit mulai ditinggalkan oleh generasi muda Indonesia. Hal ini diakibatkan karena tokoh wayang kulit yang terlampau banyak dan memiliki bentuk yang kompleks. Hal ini dapat dipermudah dengan mengembangkan suatu sistem yang dapat mengenali tokoh wayang secara otomatis menggunakan teknologi computer vision. Bag of Visual Words (BoVW) adalah salah satu metode pengenalan citra digital yang cukup sederhana namun terbukti memiliki performa yang baik dalam mengenali citra digital. Dalam konteks computer vision, wayang kulit dapat dikenali secara utuh maupun secara parsial berdasarkan atribut atau princen-nya. Pada penelitian ini, dikembangkan beberapa sistem pengenalan citra wayang kulit berbasis proses ekstraksi fitur BoVW yang divariasikan berdasarkan jenis deskriptor ekstraktor yaitu SIFT (Scale-invariant Feature Transform) dan ORB (Oriented BRIEF and Rotated FAST) serta jenis model classifier. Proses pengenalan wayang kulit terdiri dari dua skema yaitu klasifikasi utuh dengan citra keseluruhan dan klasifikasi parsial per atributnya. Proses klasifikasi citra per atribut divariasikan berdasarkan teknik lokalisasi atributnya, yaitu segmentasi manual dengan data ground truth dan segmentasi otomatis dengan sliding window. Klasifikasi parsial diakhiri dengan mengenali tokoh menggunakan classifier Jaringan Syaraf Tiruan. Hasil dari penelitian ini didapatkan bahwa BoVW dapat digunakan untuk mengenali wayang kulit dengan hasil akurasi 91.9% pada data uji dengan menggunakan model BoVW dengan segmentasi manual dan 85.7% dengan segmentasi otomatis. Selanjutnya model klasifikasi utuh mendapatkan hasil akurasi 90% pada data uji dengan kombinasi Random Forest dan ORB. Selain itu, ditemukan bahwa sliding window belum menghasilkan performa yang maksimal dalam proses klasifikasi dengan BoVW.

Shadow puppet (wayang kulit) is one of Indonesian traditional culture which contains character development material. Unfortunately, shadow puppet has been slowly abandoned by Indonesian youth. This happens because shadow puppet has too many characters and very complex visual shape. This can be made easier by developing a system that can automatically recognize shadow puppet images using computer vision technology. Bag of Visual Words (BoVW) is a method developed for digital image recognition that is very simple but proven to have a good performance in differentiating digital imagery. In the context of computer vision, shadow puppet characters can be recognized using the whole image or partially based on their attributes or princen. This study aims to develop a few shadow puppet image recognition systems using BoVW that are varied by descriptor extractor types, namely SIFT (Scale-invariant Feature Transform) and ORB (Oriented BRIEF and Rotated FAST), and classifier model. Furthermore, the process of shadow puppet recognition consists of two schemes namely full image recognition and partial image recognition. Partial image recognition processes are varied based on the image localization technique, which are manual segmentation using ground truth data and autonomous segmentation using sliding window technique. The partial image recognition process is concluded with the shadow puppet character recognition using Artificial Neural Network classifier. The result of this study shows that BoVW can be utilized to recognize shadow puppet characters with an accuracy of 91.9% on test data using manual segmentation scheme and 85.7% on test data using autonomous segmentation scheme. Furthermore, a whole image classification model got 90% accuracy on test data with the combination of Random Forest Classifier and ORB. Moreover, it is found that sliding window is not an optimal segmentation technique for image classification using BoVW.

Kata Kunci : Wayang kulit, Bag of Visual Words, Klasifikasi Citra