RANCANG BANGUN SISTEM DETEKSI DAN ESTIMASI URUTAN TAMPILAN PADA ALAT OPERASI DENGAN YOLOV8 DAN MIDAS

MUHAMMAD ANANG MAHRUB, Prof. Ir. Nazrul Effendy, S.T., M.T., Ph.D., IPM.;Dr. Ir. Nur Abdillah Siddiq, S.T., IPP.

2025 | Skripsi | FISIKA TEKNIK

Perkembangan teknologi membuka peluang penerapan dalam bidang kesehatan salah satunya adalah telesurgery. Dalam konteks telesurgery, dokter sering mengalami kesulitan koordinasi visual karena ketergantungan pada tampilan 2D saja, yang dapat mengakibatkan kesalahan persepsi visual dan bahkan kecelakaan. Oleh karena itu, penelitian ini bertujuan untuk merancang sistem yang mampu meningkatkan persepsi visual dokter selama prosedur telesurgery dengan melakukan deteksi objek berupa alat operasi dan estimasi urutan tampilan dari setiap objek. 

Sistem ini memanfaatkan YOLOv8 untuk deteksi objek dan MiDaS Depth Estimation untuk estimasi urutan tampilan. Fokus utama penelitian adalah mencari kombinasi terbaik dari varian YOLOv8 dan MiDaS (tota 15 kombinasi) berdasarkan nilai Mean Average Precision (mAP) untuk deteksi objek dan waktu pemrosesan keseluruhan sistem untuk inferensi. 

Hasil penelitian menunjukkan bahwa sistem yang dirancang dengan YOLOv8 dan MiDaS berhasil mendeteksi objek, membedakan jenis objek (bengkok, gunting anatomis, pinset), dan memberikan estimasi urutan tampilan objek dengan baik. Varian YOLOv8m mencapai performa deteksi terbaik dengan F1 score sebesar 0,97 pada confidence 0,635, serta mAP50 sebesar 0,995 untuk kelas bengkok. Secara keseluruhan, YOLOv8s dan YOLOv8m memberikan kombinasi presisi dan kinerja stabil dengan nilai mAP50 sebesar 0,988 dan 0,986 masing-masing. Waktu pemrosesan untuk YOLOv8m dengan MiDaS small adalah 0,1149 detik dan untuk YOLOv8m dengan MiDaS small adalah 0,1486 detik. Evaluasi kualitas estimasi urutan tampilan MiDaS menggunakan Modulation Transfer Function (MTF) menunjukkan bahwa MiDaS small memiliki MTF50 lebih tinggi (0,0094), mengindikasikan ketajaman spasial yang lebih tinggi namun mungkin dengan noise, sementara MiDaS hybrid dan large memberikan nilai yang lebih stabil dengan MTF50 sebesar 0,0063.

Technological advancements have opened up opportunities for applications in the healthcare sector, one of which is telesurgery. In the context of telesurgery, surgeons often face difficulties with visual coordination due to reliance solely on 2D displays, which can lead to visual perception errors and even accidents. Therefore, this study aims to design a system that can enhance surgeons’ visual perception during telesurgery procedures by performing object detection of surgical instruments and estimating their relative depth order.

This system leverages YOLOv8 for object detection and MiDaS Depth Estimation for estimating the order of appearance based on depth. The main focus of this research is to find the best combination among YOLOv8 and MiDaS variants (a total of 15 combinations) based on the Mean Average Precision (mAP) for object detection and the overall system processing time during inference.

The results show that the system designed with YOLOv8 and MiDaS successfully detects objects, distinguishes object types (bengkok, anatomical scissors, forceps), and accurately estimates the relative depth order of the objects. The YOLOv8m variant achieved the best detection performance with an F1 score of 0.97 at a confidence threshold of 0.635, and an mAP50 of 0.995 for the bengkok class. Overall, YOLOv8s and YOLOv8m provided a combination of high precision and stable performance with mAP50 values of 0.988 and 0.986, respectively. The processing time for YOLOv8m with MiDaS Small was 0.1149 seconds, and for YOLOv8m with MiDaS Hybrid was 0.1486 seconds. The quality evaluation of depth order estimation using the Modulation Transfer Function (MTF) indicated that MiDaS Small produced a higher MTF50 value (0.0094), reflecting higher spatial sharpness but with potential noise, whereas MiDaS Hybrid and Large yielded more stable values with an MTF50 of 0.0063.

Kata Kunci : deteksi objek, estimasi kedalaman, YOLOv8, MiDaS