Object-aided SLAM (OA-SLAM) merupakan peningkatan dari ORB-SLAM2, yang menggunakan representasi objek dalam bentuk elipsoida 3D untuk memperbaiki kemampuan relokalisasi setelah kehilangan pelacakan (tracking lost). Dalam penelitian ini, kami mengevaluasi integrasi model deteksi objek YOLOv8 dan YOLOv5 ke dalam OA-SLAM melalui eksperimen offline menggunakan dataset TUM RGB-D Freiburg, serta pengujian real-time dengan TurtleBot3 yang telah dimodifikasi untuk menggunakan single-board computer (SBC) Jetson AGX Xavier di lingkungan nyata.
Untuk menunjang eksperimen ini, kami melakukan berbagai modifikasi pada platform TurtleBot3 Burger, baik dari sisi perangkat keras maupun perangkat lunak. Salah satu perubahan penting pada perangkat lunak adalah mengubah bagian inference OA-SLAM agar kompatibel dengan YOLOv8. Setelah modifikasi tersebut selesai, kami melakukan analisis mendalam terhadap performa sistem, yang meliputi akurasi trayektori, kualitas representasi elipsoida 3D objek, serta kemampuan relokalisasi setelah tracking lost.
Hasil eksperimen menunjukkan bahwa YOLOv8 menghasilkan representasi objek yang lebih konsisten dibandingkan YOLOv5, terutama dalam mendeteksi objek teroklusi. Pada pengujian real-time ditemukan bahwa meskipun terdapat latensi akibat modul deteksi objek, sistem tetap dapat menghasilkan peta 3D yang konsisten dengan trayektori aslinya. Selain itu, ditemukan bahwa modul relokalisasi OA-SLAM berhasil bekerja pada percobaan real-time ketika dihadapkan dengan perubahan drastis pada sudut pandang kamera.
Meskipun representasi elipsoida 3D objek membantu dalam pemulihan tracking, metode ini kurang optimal di adegan yang melibatkan objek dinamis, menyebabkan permasalahan duplikasi representasi objek. Penelitian ini memberikan wawasan penting untuk pengembangan SLAM yang lebih andal dalam lingkungan yang kompleks, namun perbaikan lebih lanjut pada logika asosiasi objek dan pengujian pada kondisi dinamis yang beragam masih diperlukan untuk meningkatkan kinerja.
Object-aided SLAM (OA-SLAM) is an improvement of ORB-SLAM2, which uses object representation in the form of 3D ellipsoids to enhance relocalization capabilities after tracking loss. In this study, we evaluate the integration of YOLOv8 and YOLOv5 object detection models into OA-SLAM through offline experiments using the TUM RGB-D Freiburg dataset, as well as real-time testing with a modified TurtleBot3 equipped with a Jetson AGX Xavier single-board computer (SBC) in real-world environments.
To support these experiments, we made several modifications to the TurtleBot3 Burger platform, both in hardware and software. One significant software change was adapting the inference part of OA-SLAM to be compatible with YOLOv8. After completing these modifications, we conducted an in-depth analysis of the system's performance, including trajectory accuracy, the quality of the 3D ellipsoid object representation, and relocalization capability after tracking loss.
The experimental results show that YOLOv8 produces more consistent object representations compared to YOLOv5, particularly in detecting occluded objects. In real-time testing, despite latency caused by the object detection module, the system was still able to produce a 3D map consistent with the original trajectory. Furthermore, it was found that OA-SLAM’s relocalization module successfully worked in real-time experiments when faced with drastic changes in camera viewpoints.
Although the 3D ellipsoid object representation aids in tracking recovery, this method is less optimal in scenes involving dynamic objects, causing issues with object representation duplication. This study provides valuable insights for developing more reliable SLAM systems in complex environments, but further improvements in object association logic and testing under diverse dynamic conditions are needed to enhance performance.
Kata Kunci : Computer Vision, SLAM, Object-based Relocalization, Robotics
