ANOTASI OTOMATIS PADA CITRA PERSEPSI AUTONOMOUS CAR MENGGUNAKAN TRANSFER LABEL 3D-TO-2D

Areta Vahtsa Nur Kirana, Muhammad Idham Ananta Timur, S.T., M.Kom

2025 | Skripsi | ELEKTRONIKA DAN INSTRUMENTASI

Dalam sistem persepsi kendaraan otonom, proses anotasi citra 2D secara manual dengan label semantik dan panoptik sangat mahal dan memakan waktu. Penelitian ini mengusulkan pendekatan anotasi otomatis dengan mentransfer label dari domain 3D ke 2D menggunakan model PanopticNeRF-360. Metode ini menggabungkan prediksi semantik 2D, bounding primitives 3D, dan teknik mesh-ray intersection untuk mengoptimasi geometri dan semantik secara bersamaan. Dataset KITTI-360 digunakan untuk melatih model dengan citra perspektif dan fisheye. Hasil evaluasi menunjukkan bahwa model mencapai nilai mIoU sebesar 0.79 dan Panoptic Quality (PQ) sebesar 0.66 pada citra perspektif, serta mIoU sebesar 0.73 dan PQ sebesar 0.6  pada citra fisheye. Hasil ini menunjukkan bahwa pendekatan ini efektif dalam menghasilkan segmentasi yang konsisten secara spasial dan semantik, khususnya pada objek besar dan dominan. Penelitian ini menunjukkan bahwa integrasi antara label 2D dan informasi geometri 3D dapat menjadi solusi efisien untuk anotasi dalam domain persepsi kendaraan otonom.

Manual annotation of 2D perception images with semantic and panoptic labels in autonomous driving systems is costly and time-consuming. This study proposes an automatic annotation approach using 3D-to-2D label transfer via the PanopticNeRF-360 model. The method integrates 2D semantic predictions, 3D bounding primitives, and mesh-ray intersection to jointly optimize scene geometry and semantics. The KITTI-360 dataset is used to train the model on both perspective and fisheye images. Evaluation results show that the model achieves a mean Intersection over Union (mIoU) of 0.76 and Panoptic Quality (PQ) of 0.66 on perspective images, and mIoU of 0.73  with PQ of 0.6 on fisheye images. These results demonstrate the model’s effectiveness in producing spatially and semantically consistent segmentation, particularly for large and dominant objects. The findings confirm that integrating 2D labels with 3D geometry through neural rendering offers an efficient solution for annotation in autonomous vehicle perception.

Kata Kunci : autonomous car, auto annotation, auto-labeling, transfer label, citra