Pretrained Mask R-CNN untuk Background Removal pada Klasifikasi Buah dengan Model CNN

Ali Mahfud, Dr. Agus Sihabuddin, S.Si., M.Kom.

2025 | Skripsi | ILMU KOMPUTER

Dalam bidang klasifikasi gambar, mengidentifikasi objek secara akurat terhadap latar belakang yang tidak bersih masih menjadi tantangan. Untuk mengatasi masalah ini, penelitian ini mengusulkan pendekatan untuk mengatasi tantangan klasifikasi gambar dalam skenario di mana latar belakangnya tidak bersih, dengan memanfaatkan teknik segmentasi dan penyempurnaan tingkat lanjut. Mask R-CNN, perluasan dari Faster R-CNN, digunakan untuk mengisolasi objek dari latar belakang yang kompleks dengan menghasilkan masker segmentasi tingkat piksel. Proses ini secara efektif mengurangi dampak elemen latar belakang yang tidak relevan, sehingga memungkinkan analisis latar depan yang lebih terfokus.

Arsitektur MobileNet V3, yang dikenal karena efisiensinya dan desainnya yang ringan, digunakan untuk membangun model klasifikasi. Arsitektur ini cocok untuk diimplementasikan dengan keterbatasan sumber daya sekaligus mempertahankan kinerja yang tinggi. Model ini dilatih pada subset dari dataset "Fruits Fresh and Rotten for Classification" oleh Sriram Reddy Kalluri, dengan fokus pada apel, pisang, dan jeruk segar.

Untuk implementasi, dataset khusus gambar buah yang diambil dengan perangkat seluler digunakan sebagai set pengujian setelah segmentasi dengan Mask R-CNN. Model MobileNet V3 yang dilatih mencapai akurasi sebesar 96,75%

In the field of image classification, accurately identifying objects in images with unclean backgrounds is a significant challenge in image classification. To address this issue, this paper proposes an approach to address the challenge of image classification in scenarios where the background is unclean, by leveraging advanced segmentation and refinement techniques. Mask R-CNN, an extension of Faster R-CNN, is employed to isolate objects from complex backgrounds by generating pixel-level segmentation masks. This process effectively reduces the impact of irrelevant background elements, enabling a more focused analysis of the foreground.

The MobileNet V3 architecture, known for its efficiency and lightweight design, is utilized to build the classification model. This architecture is particularly suited for resource-constrained environments while maintaining high performance. The model is trained on a subset of the "Fruits Fresh and Rotten for Classification" dataset by Sriram Reddy Kalluri, focusing on fresh apples, bananas, and oranges.

For implementation, a custom dataset of fruit images captured with mobile devices was used as the test set after segmentation with Mask R-CNN. The trained MobileNet V3 model achieved an accuracy of 96.75%.

Kata Kunci : Klasifikasi Buah, Mask R-CNN, MobileNet, CNN