Pengembangan Multi-Task Learning Model Untuk Sistem Persepsi Kendaraan Otonom

Kharisma Dewanti, Oskar Natan, S.ST., M.Tr.T., Ph.D.; Dr. techn. Aufaclav Zatu Kusuma Frisky S.Si., M.Sc.

2026 | Tesis | MAGISTER ELEKTRONIKA DAN INSTRUMENTASI

Implementasi sistem persepsi pada kendaraan otonom umumnya masih mengandalkan beberapa model single-task yang dijalankan secara terpisah untuk menyelesaikan tugas semantic segmentation dan depth estimation. Pendekatan tersebut menyebabkan peningkatan kebutuhan komputasi dan penggunaan memori, sehingga kurang optimal untuk diterapkan pada perangkat edge dengan sumber daya terbatas. Untuk mengatasi permasalahan tersebut dikembangkan model Multi-Task Learning (MTL) yang mampu menjalankan kedua tugas secara simultan dalam satu arsitektur.

Model dibangun menggunakan arsitektur encoder-decoder berbasis ResNet50 dengan penerapan shared encoder dan skip connection guna mempertahankan informasi spasial selama proses pembelajaran. Model dilatih menggunakan dataset lokal yang diperoleh melalui akuisisi data di lingkungan Universitas Gadjah Mada, sehingga mampu merepresentasikan karakteristik jalan di Indonesia. Selain itu, efisiensi komputasi ditingkatkan melalui penerapan Automatic Mixed Precision (AMP) yang mengombinasikan presisi FP16 dan FP32 pada tahap pelatihan maupun inferensi. Kinerja model dievaluasi menggunakan metrik Intersection over Union (mIoU) untuk tugas segmentasi semantik dan Mean Absolute Error (MAE) untuk estimasi kedalaman.

Hasil Pengujian menunjukkan bahwa model MTL yang diusulkan mampu mencapai nilai mIoU sebesar 91,3?n MAE sebesar 0,0857.  Penerapan AMP juga memberikan peningkatan efisiensi melalui percepatan proses inferensi dan pengurangan penggunaan memori GPU tanpa menurunkan akurasi secara signifikan. Hasil tersebut menunjukkan bahwa model yang dikembangkan berpotensi mendukung implementasi sistem persepsi kendaraan otonom secara real-time pada perangkat edge.

Autonomous vehicle perception systems commonly rely on multiple single-task models operating independently to perfrom semantic segmentation and depth estimation. This approach increases computational and memory requirements, making it lee suitable for deployment onedge devices with limited resources. To address this limitation, this study proposes a Multi-Task Learning (MTL) model capable of performing both tasks simultaneously within a unified architecture.

The proposed model is built upon a ResNet50-based encoder-decoder architecture employing a shared encoder and skip connections to preserve spatial information during the learning process. The model is trained using a locally collected dataset acquired in the Universitas Gadjah Mada environment, enabling it to better represent the characteristics of Indonesia road scenes. Furthermore, computational efficiency is enhanced through the implementation of Automatic Mixed Precision (AMP), which combines FP16 and FP32 precision during both training and inference. Model performance is evaluated using Intersection over Union (mIoU) for semantic segmentation and Mean Absolute Error (MAE) for depth estimation.

Experimental results demonstrate that the proposed MTL model achieves an mIoU of 91,3% and MAE of 0,0857. The adoption of AMP improves computational efficiency by accelerating inference speed and reducing GPU memory consumption without significant degradation in accuracy. These findings indicate that the proposed model has strong potential for supporting real-time autonomous vehicle perception systems on resource-constrained.

Kata Kunci : multi-task learning, kendaraan otonom, semantic segmentation, depth estimation, Automatic Mixed Precision, edge computing