PERBANDINGAN KLASIFIKASI CITRA BERBASIS HIERARCHICAL NEURAL NETWORK DENGAN MODEL CONVOLUTIONAL NEURAL NETWORK TUNGGAL UNTUK DATA BERJENJANG

THEOFILUS ARKHI S, Dzikri Rahadian Fudholi, S.Kom., M.Comp.; Erwin Eko Wahyudi, S.Kom., M.Cs.

2023 | Skripsi | S1 ILMU KOMPUTER

Belakangan ini, permasalahan pembelajaran mesin berkembang menjadi semakin kompleks. Salah satunya permasalahan pembelajaran mesin yang kompleks adalah permasalahan klasifikasi citra pada data berjenjang dengan label bertingkat dari tingkat yang umum (coarse) hingga tingkat yang lebih spesifik (fine). Pada penelitian ini, diusulkan penggunaan arsitektur Hierarchical Neural Network (HNN) yang terdiri dari beberapa model CNN untuk melakukan klasifikasi citra pada data berjenjang. Pada penelitian ini, dilakukan perbandingan antara arsitektur HNN dan CNN tunggal pada tingkat prediksi fine berdasarkan nilai akurasi sebagai metrik utama dan nilai F1-score sebagai metrik tambahan. Dataset yang digunakan pada penelitian ini adalah subset dari CIFAR-100. Diperoleh hasil nilai akurasi pada tingkat prediksi fine dari arsitektur HNN dan CNN tunggal masing-masing sebesar 52,08% dan 52,25%. Sedangkan diperoleh nilai F1-score untuk arsitektur HNN dan CNN tunggal masing-masing sebesar 0,5173 dan 0,5185. Pada hasil prediksi data validasi, terdapat kasus di mana CNN menghasilkan prediksi yang benar tetapi terdapat kesalahan prediksi HNN di tingkat coarse dan/atau fine. Akan tetapi, terdapat juga kasus di mana CNN menghasilkan prediksi yang salah sementara HNN mampu menghasilkan prediksi yang benar untuk tingkat coarse dan/atau fine. Meskipun arsitektur HNN tidak menghasilkan hasil prediksi yang lebih baik dibandingkan dengan CNN tunggal pada percobaan ini, arsitektur HNN mampu menghasilkan prediksi secara bertahap dari tingkat kelas yang umum hingga tingkat kelas yang spesifik.

Nowadays, machine learning tasks have been increasing in complexity. One of the complex problems is image classification on hierarchical dataset with hierarchical labels from coarse to fine levels. Therefore, we propose to implement Hierarchical Neural Network (HNN) architecture based on multiple CNN models to classify images from hierarchical dataset. In this research, we compare our HNN architecture with a single CNN model based on accuracy and F1-score metrics on fine prediction level. We use a subset of CIFAR-100 dataset in this experiment. On fine prediction, our HNN and CNN models reached accuracy score of 52.08% and 52.25% respectively. On the other hand, our HNN and CNN models reached F1-score of 0.5173 and 0.5185 respectively. For each image in our validation split, there were cases where CNN could give the correct prediction while our HNN architecture gives the wrong label in either coarse or fine level. Conversely, there were cases where CNN gave the wrong label while our HNN architecture could give the correct coarse and/or fine label. Although our HNN architecture could not achieve higher scores in either metric in this experiment, our HNN architecture could give step-by-step prediction from coarse to fine levels.

Kata Kunci : Pembelajaran mesin, klasifikasi citra, data berjenjang, hierarchical neural network