Deteksi Objek Komet pada Citra Comet Assay Buccal Mucosa menggunakan Arsitektur Hibrida CNN-Transformer
Ganjar Abdillah Ammar, Afiahayati, S.Kom., M.Cs., Ph.D. ; Prof. Drs. Retantyo Wardoyo, M.Sc., Ph.D.
2024 | Tesis | MAGISTER KECERDASAN ARTIFISIAL
Citra comet assay berguna sebagai sarana biomonitoring kondisi kesehatan manusia. Citra flouresensi dari comet assay menyingkap informasi penting atas kerusakan DNA pada area pengambilan spesimen. Salah satu area yang paling mudah dan tidak invasif adalah buccal mucosa yaitu lapisan dalam pipi, dasar mulut, dan belakang bibir.
Berbagai metode dan tools telah dikembangkan untuk membantu mendeteksi dan/atau mengklasifikasikan kerusakan DNA pada citra comet assay, namun tidak pada citra comet assay dari spesimen buccal mucosa. Penyebab utama adalah karena noise dari citra comet assay buccal mucosa sangat banyak.
Penelitian ini bertujuan untuk mendeteksi kerusakan DNA dari setiap objek komet di dalam citra comet assay buccal mucosa. Arsitektur yang diusulkan adalah arsitektur hibrida yang mengkombinasikan convolutional neural network (CNN) dengan Transformer yaitu DETR (DEtection TRansformer). Pendeteksian objek komet menggunakan DETR menghasilkan performa yang lebih unggul jika dibandingkan dengan penelitian Pinasthika (2022) yang menggunakan Mask R-CNN, di mana kenaikan AP50 dapat mencapai 19,2%.
Pada penggunaan hyperparameter dan set data augmentasi terbaik saat pelatihan, model DETR-D dengan backbone ResNet-101 DC5 memperoleh metrik average precision tertinggi dengan nilai AP50, AP75, dan AP yang secara berurutan sebesar 87,4, 82,1 dan 68,7. Peningkatan kompleksitas arsitektur backbone berperan meningkatkan nilai AP sebesar 4,1-4,9%, sedangkan penggunaan faktor dilation hanya meningkatkan nilai AP sebesar 3,2-3,9%.
The comet assay image is valuable as a biomonitoring tool for assessing human health conditions. Fluorescence images from the comet assay reveal crucial information regarding DNA damage in the sampled area. One of the most accessible and non-invasive sampling areas is the buccal mucosa, which includes the inner cheek lining, the mouth floor, and the lips' back.
Various methods and tools have been developed to detect and/or classify DNA damage in comet assay images; however, these methods have not been applied to comet assay images from buccal mucosa specimens. The primary reason for this is the significant noise in buccal mucosa comet assay images.
This study aims to detect DNA damage in each comet object within buccal mucosa comet assay images. The proposed architecture is a hybrid model that combines a convolutional neural network (CNN) with a Transformer, specifically DETR (Detection Transformer). The use of DETR for comet object detection shows superior performance compared to the study by Pinasthika (2022), which utilized Mask R-CNN, with an increase in AP50, reaching up to 19.2%.
With the optimal hyperparameters and data augmentation set during training, the DETR-D model with a ResNet-101 DC5 backbone achieved the highest average precision metrics, with AP50, AP75, and AP values of 87.4, 82.1, and 68.7, respectively. Increasing the complexity of the backbone architecture contributed to an AP increase of 4.1-4.9%, while the use of dilation factors only improved the AP by 3.2-3.9%.
Kata Kunci : CNN, Transformer, comet assay, buccal mucosa, deteksi objek, average precision
