Sistem Deteksi Sel Kanker Serviks Dua Tahap pada Citra Pap Smear dengan YOLOv8 untuk Lokalisasi dan ResNet-50 untuk Klasifikasi Objek

Shabrina Azadirach Putri, Prof. Ir. Hanung Adi Nugroho, S.T., M.Eng., Ph.D., IPM., SMIEEE. ; Dr. Ir. Ahmad Nasikun, S.T., M.Sc.

2025 | Skripsi | S1 TEKNIK BIOMEDIS

Kanker serviks merupakan salah satu jenis kanker paling umum dan termasuk ke dalam penyebab kematian tertinggi pada wanita secara global. Kanker serviks merujuk pada pertumbuhan abnormal pada area serviks yang dapat menyebar ke bagian tubuh lain. Walaupun dapat menyebabkan fatalitas hingga kematian, kanker serviks dapat dicegah dengan vaksinasi dini dan skrining berkala. Salah satu metode skrining kanker serviks standar yaitu uji Pap smear. Secara tradisional, sampel hasil uji Pap smear harus dianalisis secara manual oleh patologis. Namun, proses tersebut membutuhkan waktu yang lama dan rentan terhadap human error. Oleh karena itu, perlu dikembangkan metode skrining otomatis yang dapat mengatasi permasalahan pada skrining kanker serviks manual. Pada penelitian ini, dikembangkan sistem deteksi objek dua tahap menggunakan metode bernama YOLO-ResNet untuk deteksi dan klasifikasi sel kanker pada citra Pap smear serviks. Metode YOLO-ResNet mengadopsi model YOLOv8 untuk lokalisasi sel serviks dan ResNet-50 untuk klasifikasi sel dengan 3 skenario, yaitu 2 kelas, 3 kelas, dan 6 kelas. YOLOv8 yang digunakan pada penelitian ini berhasil melokalisasi sel serviks pada citra Pap smear dengan mAP50 sebesar 92,69%, mAP50-95 66,15%, presisi 84,62%, dan recall 87,12%. Sementara itu, model ResNet-50 berhasil mengklasifikasikan sel serviks ke dalam 2 kelas (normal dan abnormal) dengan akurasi, presisi, recall, dan f1-score 88%, 89%, 88%, dan 89%. Pada skenario 3 kelas (normal, low-grade, dan high-grade), ResNet-50 memiliki akurasi 79%, presisi 81%, recall 79%, dan f1-score 80%. Kemudian, pada skenario 6 kelas (NILM, ASC-US, ASC-H, LSIL, HSIL, dan SCC), performa klasifikasi dari ResNet-50 yaitu akurasi sebesar 54%, presisi 78%, recall 54%, dan f1-score 63%. Terakhir, pada evaluasi sistem secara keseluruhan, metode YOLO-ResNet menghasilkan mAP50 sebesar 79% untuk skenario 2 kelas, 69% untuk 3 kelas, dan 55% untuk 6 kelas. Hasil tersebut menunjukkan bahwa metode deteksi dua tahap dengan YOLO-ResNet berhasil diimplementasikan untuk deteksi dan klasifikasi sel kanker pada citra Pap smear serviks, dengan performa yang lebih baik daripada metode objek deteksi satu tahap.

Cervical cancer is one of the most common cancer, as well as one of the leading causes of death among women worldwide. Cervical cancer refers to the abnormal growth in the cervix area that can spread to other body parts. Despite its high fatality and mortality rate, cervical cancer is highly preventable through early vaccinations and regular screenings. One of the standard screening procedures for cervical cancer is Pap smear test, or Pap test. Traditionally, pathologists would have to examine each Pap smear sample to identify tens to hundreds of cervical cells manually. This process is labor-extensive, time-consuming, requires high expertise and is prone to human error. In order to solve those problems, it is crucial to develop an automated screening method for cervical cancer. This research proposed a two-stage object detection system using a method called YOLO-ResNet, which divides the object detection task into two parts. In the first part, YOLOv8 is adopted to localize each cervical cell on Pap smear images. Then, the detected cells would be passed to the second stage, with ResNet-50 as the classifier to determine the classes each cell belongs to. YOLOv8 showed decent localization performance, with mAP50 reaching 92.69%, mAP50-95 of 66.15%, precision of 84.62%, and recall of 87.12%. In the classification stage, ResNet-50 also showed decent performance on the 2 and 3 classes scenario, with accuracy of 88% (2-classes) and 79% (3-classes), precision of 89% (2-classes) and 81% (3-classes), recall of 88% (2-classes) and 88% (3-classes), and f1-score of 89% (2-classes) and 80% (3-classes). On the other hand, ResNet-50 still struggled on classifying each cervical cell into 6 classes based on The Bethesda System, with accuracy, precision, recall, and f1-score of 54%, 78%, 54%, and 63% respectively. Lastly, on the pipeline evaluation, the YOLO-ResNet method achieved mAP50 of 79% for the 2-classes scenario, 69% for the 3-classes scenario, and 55% for the 6-classes scenario. Those results showed that the two-stage object detection method using YOLO-ResNet can be implemented successfully for the detection and classification of cancerous cells on cervical Pap smear images.

Kata Kunci : Citra Pap Smear, Deteksi Objek, Kanker Serviks, ResNet-50, YOLOv8