Integration of ResNet, CNN, VGGNet, and Image Processing for Enhanced Dermatological Disease Classification Using Ensemble Learning

Radinka Isa Muhammad Anbiya, Dr. Raden Sumiharto, S.Si., M.Kom

2025 | Skripsi | ELEKTRONIKA DAN INSTRUMENTASI

Penyakit kulit merupakan masalah kesehatan yang umum terjadi di seluruh dunia dan memerlukan sistem diagnosis yang akurat dan efisien untuk mendukung pengambilan keputusan klinis. Metode diagnosis tradisional sering kali bersifat subjektif dan terbatas dalam hal akses terhadap tenaga ahli dermatologi, terutama di daerah yang kurang terlayani. Penelitian ini bertujuan untuk mengatasi keterbatasan tersebut dengan meningkatkan akurasi klasifikasi melalui integrasi beberapa arsitektur Convolutional Neural Network (CNN)—yaitu CNN, VGG16, dan ResNet50—yang dipadukan dengan teknik prapemrosesan citra lanjutan dan strategi ensemble learning. Metode yang digunakan mencakup prapemrosesan citra dermoskopik melalui penghilangan rambut, peningkatan warna, dan koreksi gamma. Fitur diekstraksi dari masing-masing model dasar dan digabungkan menjadi vektor berdimensi 2816. Vektor-vektor ini kemudian dinormalisasi dan digunakan untuk melatih dua meta-learner ensemble: klasifier XGBoost dan neural network. Aplikasi Streamlit juga digunakan sebagai sarana pengumpulan vektor dari interaksi pengguna secara nyata, sehingga memperkaya data pelatihan ensemble. Evaluasi dilakukan menggunakan metrik akurasi, presisi, recall, F1-score, ROC AUC, dan log loss guna memastikan penilaian performa yang komprehensif. Hasil penelitian menunjukkan bahwa pendekatan ensemble learning menghasilkan performa diagnosis yang sangat baik. Klasifier XGBoost mencapai akurasi sebesar 97,86?ngan nilai log loss sebesar 0,0786, sementara neural network mencapai akurasi sebesar 94,57?ngan log loss sebesar 0,1556. Kedua model menunjukkan kemampuan generalisasi yang kuat dan efektivitas dalam membedakan antara kasus jinak dan ganas, yang juga divalidasi melalui visualisasi ruang fitur menggunakan PCA. Hal ini menegaskan bahwa integrasi berbagai model CNN dengan teknik ensemble learning secara signifikan meningkatkan keandalan sistem klasifikasi penyakit kulit otomatis. 

Skin diseases are prevalent worldwide and require accurate and efficient diagnostic systems to support clinical decisions. Traditional diagnostic methods often suffer from subjectivity and limited access to dermatological expertise, especially in underserved regions. This study aims to address the limitations of conventional approaches by enhancing classification accuracy through the integration of multiple convolutional neural network (CNN) architectures— specifically CNN, VGG16, and ResNet50—combined with advanced image preprocessing and ensemble learning strategies. The method involves preprocessing dermoscopic images using hair removal, color enhancement, and gamma correction techniques. Features are extracted from each base model and concatenated into 2816-dimensional vectors. These vectors are normalized and used to train two ensemble meta-learners: an XGBoost classifier and a neural network. Additionally, deployment via a Streamlit web application enabled vector collection from real-use interactions, further enriching the ensemble training set. Evaluation metrics include accuracy, precision, recall, F1-score, ROC-AUC, and log loss, ensuring comprehensive performance assessment. Results show that the ensemble learning approach achieved high diagnostic performance. The XGBoost classifier reached 97.86?curacy with a log loss of 0.0786, while the neural network classifier achieved 94.57?curacy with a log loss of 0.1556. Both models demonstrated strong generalization and effective discrimination between benign and malignant cases, validated further through PCA visualization of feature space. This confirms that integrating diverse CNN backbones with ensemble learning significantly improves the reliability of automated skin disease classification systems.

Kata Kunci : Dermatological disease, CNN, VGG16, ResNet50, Ensemble learning, XGBoost, Neural Network, Image processing, Streamlit.