Klasifikasi Lesi Kulit Berpigmen Pada Citra Dermoskop Melalui Integrasi Attention Mechanism Pada Pre-Trained Inception-V3

Erwin Setyo Nugroho, Hanung Adi Nugroho, Igi Ardiyanto

2026 | Disertasi | S3 Teknik Elektro

Lesi kulit berpigmen, khususnya melanoma, merupakan salah satu jenis kanker kulit yang berbahaya dan sering kali sulit dibedakan dari lesi jinak. Deteksi dini menjadi faktor yang sangat krusial dalam menurunkan risiko mortalitas. Namun, interpretasi citra dermoskop dalam praktik klinis menghadapi berbagai tantangan, seperti variasi bentuk dan warna lesi serta keberadaan artefak citra, yang dapat memengaruhi konsistensi penilaian antar-pengamat. Pendekatan deep learning, khususnya Convolutional Neural Network (CNN), telah banyak dimanfaatkan dalam klasifikasi lesi kulit berpigmen karena mampu mencapai tingkat akurasi yang tinggi. Meskipun demikian, model-model tersebut umumnya bersifat black-box, sehingga mekanisme pengambilan keputusannya sulit dipahami oleh pengguna klinis dan berpotensi menurunkan tingkat kepercayaan dalam proses pengambilan keputusan medis.

Sejumlah penelitian sebelumnya telah mengintegrasikan teknik Interpretable Machine Learning (IML) atau Explainable Artificial Intelligence (XAI) untuk meningkatkan transparansi model deep learning. Namun, pendekatan-pendekatan tersebut masih memiliki beberapa keterbatasan. Sebagian besar penelitian berfokus pada klasifikasi biner, interpretasi yang diberikan masih bersifat parsial dan teknis, belum mengombinasikan lebih dari satu mekanisme interpretasi secara terintegrasi, serta tidak melibatkan evaluasi langsung oleh pengguna klinis untuk menilai dampak fitur interpretatif terhadap tingkat kepercayaan dan keberterimaan sistem. Celah inilah yang mendorong penelitian ini untuk mengusulkan pendekatan IML yang tidak hanya meningkatkan kinerja klasifikasi, tetapi juga tervalidasi secara klinis dari perspektif pengguna akhir.

Penelitian ini mengembangkan model klasifikasi lesi kulit berpigmen berbasis Interpretable Machine Learning menggunakan dataset ISIC 2019 yang terdiri dari delapan kelas lesi kulit. Model dibangun dengan arsitektur pre-trained Inception-v3 yang dioptimasi melalui penerapan data augmentation, Bayesian hyperparameter tuning, serta penambahan attention module sebagai bagian dari arsitektur model.

Hasil eksperimen menunjukkan bahwa model yang diusulkan mencapai akurasi sebesar 97,38%, nilai AUC sebesar 0,985, dan sensitivitas sebesar 98,50%, yang mengindikasikan kemampuan sangat baik dalam mendeteksi lesi ganas seperti melanoma. Untuk meningkatkan transparansi model, disediakan dua keluaran interpretatif, yaitu attention map berbasis Grad-CAM yang menyoroti area penting pada citra, serta tiga citra dermoskop paling mirip dari kelas prediksi menggunakan pendekatan Content-Based Image Retrieval (CBIR).

Evaluasi interpretabilitas dilakukan melalui studi pengguna yang melibatkan 33 dokter spesialis kulit. Dalam penelitian ini, dokter tidak digunakan sebagai gold standard diagnostik, melainkan sebagai pengguna akhir (end-user) untuk mengevaluasi persepsi kepercayaan dan keberterimaan sistem bantu diagnosis yang diusulkan. Responden diminta menilai dua versi model, yaitu model awal tanpa fitur interpretatif dan model akhir dengan fitur interpretatif, menggunakan kuesioner delapan pertanyaan. Hasil uji statistik Wilcoxon Signed-Rank menunjukkan adanya peningkatan kepercayaan pengguna yang signifikan terhadap model interpretatif.

Secara keseluruhan, penelitian ini berkontribusi pada pengembangan sistem bantu diagnosis berbasis deep learning yang tidak hanya unggul dari sisi kinerja klasifikasi, khususnya dalam meningkatkan sensitivitas, tetapi juga lebih transparan dan memiliki tingkat akseptabilitas yang lebih baik dalam konteks praktik klinis.

Pigmented skin lesions, particularly melanoma, represent one of the most dangerous types of skin cancer and are often difficult to distinguish from benign lesions. Early detection is crucial for reducing mortality risk. However, the interpretation of dermoscopic images in clinical practice faces significant challenges due to variations in lesion shape and color, as well as the presence of image artifacts, which may affect inter-observer consistency. Deep learning approaches, particularly Convolutional Neural Networks (CNNs), have been widely adopted for pigmented skin lesion classification because of their high classification accuracy. Nevertheless, these models are generally regarded as black-box systems, making their decision-making processes difficult to interpret by clinicians and potentially reducing trust in clinical decision-making.

Several previous studies have integrated Interpretable Machine Learning (IML) or Explainable Artificial Intelligence (XAI) techniques to enhance the transparency of deep learning models. However, these approaches still exhibit notable limitations. Most studies predominantly focus on binary classification tasks, provide interpretability mechanisms that are partial and technically oriented, lack integrated multi-mechanism interpretability strategies, and do not include direct evaluation by clinical users to assess the impact of interpretability features on user trust and system acceptability. These gaps motivate the present study to propose an IML-based approach that not only improves classification performance but is also clinically validated from an end-user perspective.

This study develops an Interpretable Machine Learning–based model for pigmented skin lesion classification using the ISIC 2019 dataset, which consists of eight lesion classes. The model is built upon a pre-trained Inception-v3 architecture and optimized through data augmentation, Bayesian hyperparameter tuning, and the incorporation of an attention module as an integral component of the architecture. Experimental results demonstrate that the proposed model achieves an accuracy of 97.38%, an AUC value of 0.985, and a sensitivity of 98.50%, indicating strong capability in correctly identifying malignant lesions such as melanoma.

To enhance model transparency, two interpretability outputs are provided: attention maps generated using Grad-CAM to highlight diagnostically relevant regions in the images, and the three most similar dermoscopic images from the predicted class retrieved using a Content-Based Image Retrieval (CBIR) approach. Interpretability evaluation was conducted through a user study involving 33 board-certified dermatologists. In this study, dermatologists were not used as a diagnostic gold standard but rather as end-users to evaluate trust perception and system acceptability of the proposed clinical decision support system. Participants assessed two model versions—an initial model without interpretability features and a final model with interpretability features—using an eight-item questionnaire. Statistical analysis using the Wilcoxon Signed-Rank test revealed a significant increase in user trust toward the interpretable model.

Overall, this research contributes to the development of deep learning–based clinical decision support systems that are not only high-performing in classification accuracy, particularly sensitivity, but also more transparent and better accepted in real clinical practice.

Kata Kunci : Pigmented skin lesions, melanoma, Interpretable Machine Learning, Convolutional Neural Network, Inception-v3, Grad-CAM, Content-Based Image Retrieval, image classification.