PEMBANGUNAN MODEL CNN UNTUK KLASIFIKASI JENIS BUAH-BUAHAN DENGAN PREPROCESSING GRABCUT DAN MOBILENETS UNTUK IMPLEMENTASI ANDROID

MUHARROMAN ATTORIQ Z, Dr. Agus Sihabuddin, S.Si., M.Kom.

2022 | Skripsi | S1 ILMU KOMPUTER

Convolutional Neural Networks (CNN) merupakan kelas deep learning yang paling umum digunakan untuk klasifikasi gambar. CNN dilakukan dengan melatih neural network pada dataset pelatihan tertentu. Agar tidak ada bias dalam pelatihan model, dataset pelatihan cenderung bersifat bersih. Hal ini berakibat buruk pada implementasi dunia nyata terutama untuk klasifikasi gambar, karena sifat gambar nyata yang memiliki noise dan fitur yang tidak diinginkan seperti latar gambar. Maka, dibutuhkan metode yang dapat membersihkan noise dan latar pada gambar. GrabCut merupakan algoritma graph-cut iteratif yang dirancang untuk memisahkan objek dari latar gambar dengan interaksi pengguna minimal. Interaksi yang dibutuhkan berupa menggambar kotak sekeliling objek gambar. Area di luar kotak diidentifikasi sebagai area latar, dan informasi tersebut digunakan untuk mengidentifikasi area objek dan latar di dalam kotak. Pada penelitian ini, GrabCut akan digunakan untuk membersihkan latar pada gambar agar gambar dapat diidentifikasi oleh model CNN. Kelas buah dibatasi menjadi apel, pisang, lemon dan jeruk. Untuk mengetahui efek GrabCut pada hasil klasifikasi model, dibuat dataset gambar nyata hasil pemotretan. Lalu, digunakan GrabCut untuk membuat dataset serupa dengan latar yang bersih. Saat model diuji pada dataset tes bersih, gambar nyata sebelum dan setelah GrabCut didapatkan hasil akurasi secara berurutan 0.9970, 0.8891 dan 0.9238. Saat sistem diimplementasikan pada perangkat android, ditemukan perbedaan waktu eksekusi dimana prediksi gambar nyata secara langsung membutuhkan waktu 0,1 hingga 0,5 detik, sementara dengan GrabCut rata-rata waktunya di atas 1 detik.

Convolutional Neural Networks (CNN) is a deep learning class most commonly used for image classification. CNN is used by training neural networks on a training dataset. In order to avoid bias in model-training, training datasets tend to be clean. This affects negatively on real world implementation especially on image classification, because real pictures tend to have noises and unwanted features such as background. Thus, a method to clean noise and image background is needed. GrabCut is an algorithm of iterative graph-cut designed to segment object from its background with minimum user interaction. The system requires user to draw a rectangle around the object. Area outside the rectangle will be classified as background, and this information is used to separate object and background within the rectangle. In this research, GrabCut will be used to clean image background in order for the image to be identified with the CNN model. Fruit classes are limited to apple, orange, banana and lemon. To observe the effect of GrabCut on the CNN model, real-life pictures of fruits are taken as testing dataset. Then, GrabCut is used to create a to create similar dataset with clean background. The CNN model is tested on the testing dataset from Kaggle, real-life pictures before and after GrabCut. The accuracy on each dataset is 0.9970, 0.8891 dan 0.9238. When the system is implemented on android device, there is a difference in execution time for prediction with and without GrabCut. Without GrabCut, prediction takes 0.1-0.5 seconds, while with GrabCut it takes more than 1 second on average.

Kata Kunci : Klasifikasi gambar, CNN, GrabCut, MobileNets