Asymmetric Hybrid Attention Transformer for Medical Images Super-Resolution

ALVIN ZAINUL MUTTAQIEN, Dr. Lukman Heryawan, S.T., M.T.

2024 | Skripsi | ILMU KOMPUTER

Seiring berkembangnya penggunaan pembelajaran mendalam untuk menciptakan alat bantu dalam dunia medis, terdapat kebutuhan intrinsik dan ekstrinsik terhadap ketersediaan dari pencitraan medis berkualitas tinggi, secara intrinsik untuk meningkatkan efektivitas pembelajaran mendalam dan secara ekstrinsik untuk membantu diagnosis gejala oleh ahli medis. Hal ini mendorong meningkatnya daya tarik super-resolution pada bidang medis.

Penelitian ini memiliki tujuan untuk mengimplementasikan cascaded asymmetric convolution pada arsitektur pembelajaran mendalam Hybrid Attention Transformer (HAT) dan mengevaluasi perbandingan efektivitas arsitektur dengan dan tanpa implementasi cascaded asymmetric convolution menggunakan metrik PSNR dan SSIM, serta analisis standar deviasi dan t -uji metrik tersebut. Dataset yang digunakan pada riset ini adalah Digital Knee X-ray, Brain Tumor MRI, dan CT-scan images. Hasil menunjukkan model Hybrid Attention Transformer yang menggunakan cascaded asymmetric convolution, disebut Asymmetric Hybrid Attention Transformer (A-HAT), berhasil mendapatkan hasil yang lebih baik dibandingkan model dasar HAT.

Kesimpulan dari penelitian ini adalah bahwa penerapan cascaded asymmetric convolution pada arsitektur pembelajaran mendalam Hybrid Attention Transformer (HAT) mampu meningkatkan kemampuan super-resolution model dalam tugas pencitraan medis. Riset lebih lanjut dapat berfokus tentang perkembangan lebih lanjut dalam lingkup optimasi lingkungan, data, dan model dari riset, dan penerapan nyata dari model.

As the use of deep learning to create auxiliary tools in the medical field grows, there is an intrinsic and extrinsic need for the availability of high-quality medical imaging. Intrinsically, this enhances the effectiveness of deep learning, and extrinsically, it assists medical experts in diagnosing symptoms. This drives the increasing appeal of super-resolution techniques in the medical domain.

This study aims to implement cascaded asymmetric convolution in the Hybrid Attention Transformer (HAT) deep learning architecture and to evaluate the comparative effectiveness of the architecture with and without the implementation of cascaded asymmetric convolution using metrics PSNR and SSIM, and analyses of standard deviation and t-test of said metrics. The datasets used in this research are Digital Knee X-ray, Brain Tumor MRI, and CT-scan images. The findings indicate that the Hybrid Attention Transformer model utilizing cascaded asymmetric convolution, referred to as the Asymmetric Hybrid Attention Transformer (A-HAT), achieved improvement over base model HAT.

This research concludes that the implementation of cascaded asymmetric convolution in the Hybrid Attention Transformer (HAT) deep learning architecture can enhance the super-resolution capability of the model in medical imaging tasks. Further research could focus on advancements in optimizing the environment, data, and model from this study, as well as real-world applications of the model.

Kata Kunci : medical image processing, image super-resolution, transformer, asymmetric convolution, hybrid attention