Segmentasi Fitur Karakter Pada Sketsa Kartun Menggunakan Metode Mask R-CNN

KEFIN PUDI D, Moh. Edi Wibowo, S.Kom.,M.Kom., Ph.D.

2022 | Tesis | MAGISTER ILMU KOMPUTER

Pembuatan ilustrasi karakter digital meliputi beberapa tahapan yang penting. Salah satunya adalah tahapan pemberian warna pada objek atau fitur karakter tertentu. Tahapan ini melibatkan pemilihan objek pada sketsa secara spesifik, dimana proses manual yang diperlukan untuk mengerjakan hal ini cukup sulit. Penelitian ini menggunakan metode Mask R-CNN untuk melakukan segmentasi fitur karakteristik pada sketsa kartun seperti pada bagian mata, rambut dan pakaian. Hal ini dilakukan agar proses seleksi objek untuk pewarnaan dapat dipermudah. Dataset yang digunakan pada penelitian ini adalah kumpulan citra sketsa dan dataset ini akan dipisahkan berdasarkan anotasi yang berbeda. Terdapat dua tahapan untuk melatih model dengan metode Mask R-CNN pada penelitian ini, dimulai dari pembuatan model segmentasi foreground diikuti dengan tahapan pembuatan model segmentasi fitur karakter yang meliputi kelas rambut, mata, iris, dan pakaian. Model terbaik pada tahap segmentasi foreground memiliki nilai AP90 sebesar 95% dan nilai AP95 sebesar 30%. Sedangkan pada tahap segmentasi fitur karakter hasil evaluasi terhadap model dengan semua kelas memiliki nilai AP80 sebesar 54.56% dan nilai AP90 sebesar 6.36%. Hasil ini menunjukkan bahwa model sudah dapat melakukan segmentasi objek dengan cukup baik pada sketsa karakter.

The creation of digital character illustrations includes several important stages. One of them is the stage to apply color for certain character features. This stage involves selecting specific objects on the sketch, where the manual process required to do this is quite difficult. This study uses the Mask R-CNN method to segment characteristic features on cartoon sketches such as the eyes, hair, and clothes. This method could simplify object selection process for coloring. The dataset used in this study is a collection of sketch images and this dataset will be separated based on different annotations. There are two stages to train the model using the Mask R-CNN method in this study, starting from the foreground segmentation training followed by the character feature segmentation training which includes hair, eye, iris, and clothing classes. The best model at the foreground segmentation stage has an AP90 value of 95% and an AP95 value of 30%. Meanwhile, in character features segmentation stages for the model with all classes, the model shows an AP80 value of 54.56% and an AP90 value of 6.36%. These results indicate that the model is able to segment objects quite well on character sketches.

Kata Kunci : Sketsa karakter, Ilustrasi karakter digital, Mask R-CNN, Segmentasi