PENGEMBANGAN ARSITEKTUR MODIFIED RESIDUAL NETWORK SEBAGAI FEATURE EXTRACTOR DENGAN INTEGRASI VISION TRANSFORMER UNTUK REPRESENTASI FITUR KLASIFIKASI KANKER KULIT MELANOMA

Krismantoro Bagus Meidianto, Dr.techn. Khabib Mustofa, S.Si.,M.Kom.

2026 | Skripsi | ILMU KOMPUTER

Melanoma merupakan salah satu kanker kulit ganas yang agresif dan memerlukan deteksi dini yang akurat. Perkembangan computer vision dan artificial intelligence memungkinkan analisis citra dermoskopi dilakukan secara lebih objektif dibandingkan pemeriksaan visual langsung. Namun, arsitektur tunggal seperti CNN atau Vision Transformer masih memiliki keterbatasan dalam menangkap pola lokal dan global secara menyeluruh. Penelitian ini bertujuan mengembangkan dan mengevaluasi model klasifikasi melanoma berbasis arsitektur hybrid modified ResNet50 dan Vision Transformer (mResNet50+ViT) untuk memperoleh representasi fitur lokal dan global yang lebih komprehensif. Penelitian menggunakan dataset ISIC 2020 sebagai dataset utama dan HAM10000 sebagai evaluasi lintas dataset. Hasil evaluasi internal menunjukkan bahwa arsitektur hybrid memberikan performa yang lebih adaptif dibandingkan arsitektur tunggal. Pada data uji ISIC 2020, mResNet50+ViT mencapai AUC 0,9161, serta pada threshold best F1 memperoleh akurasi 97,83?n spesifisitas 99,26%, lebih tinggi 3,10?n 3,54% dibandingkan ViT-b/16, sedangkan pada threshold best Youden mencapai sensitivitas 94,25%, lebih tinggi 14,94% dibandingkan mResNet50. Hasil ini menunjukkan bahwa model usulan mampu memberikan peningkatan performa klasifikasi sekaligus meningkatkan deteksi kelas melanoma sesuai kebutuhan inferensi. Secara keseluruhan, penelitian ini menunjukkan bahwa kombinasi CNN termodifikasi dan Vision Transformer merupakan pendekatan yang efektif untuk klasifikasi melanoma dan berpotensi menjadi dasar pengembangan sistem pendukung keputusan dalam diagnosis kanker kulit.

Melanoma is one of the most aggressive malignant skin cancers and requires accurate early detection. Advances in computer vision and artificial intelligence enable dermoscopic image analysis to be performed more objectively than direct visual examination. However, single architectures such as CNN or Vision Transformer still have limitations in capturing local and global patterns comprehensively. This study aims to develop and evaluate a melanoma classification model based on a hybrid architecture of modified ResNet50 and Vision Transformer (mResNet50+ViT) to obtain a more comprehensive representation of local and global features. The study uses the ISIC 2020 dataset as the primary dataset and HAM10000 for cross-dataset evaluation. The internal evaluation results show that the hybrid architecture provides more adaptive performance than single architectures. On the ISIC 2020 test set, mResNet50+ViT achieved an AUC of 0.9161 and, at the best F1 threshold, obtained an accuracy of 97.83% and a specificity of 99.26%, which were 3.10% and 3.54% higher than those of ViT-b/16, while at the best Youden threshold it achieved a sensitivity of 94.25%, which was 14.94% higher than that of mResNet50. These results indicate that the proposed model is able to improve classification performance while enhancing melanoma detection according to inference requirements. Overall, this study shows that the combination of a modified CNN and Vision Transformer is an effective approach for melanoma classification and has the potential to serve as a basis for developing decision support systems in skin cancer diagnosis.

Kata Kunci : klasifikasi, melanoma, pola lokal dan global, modified ResNet50, Vision Transformer, arsitektur hybrid