ANALISIS PENGARUH KONTRAS PADA SEGMENTASI PANOPTIK UNTUK LINGKUNGAN DALAM RUANG MENGGUNAKAN MODEL ARSITEKTUR DEEP LEARNING

KHALISHA PUTRI, Ika Candradewi, S.Si, M.Cs.

2024 | Skripsi | ELEKTRONIKA DAN INSTRUMENTASI

Robot perception merupakan kemampuan robot untuk mengenali lingkungan di sekitarnya, salah satunya di lingkungan dalam ruang, seperti dapur, ruang belajar, ataupun ruang makan. Kemampuan pengenalan ini sangatlah penting untuk pengidentifikasian objek yang digunakan oleh robot untuk berinteraksi dengan lingkungan dan memahami perintah yang diberikan. Objek-objek dapat dikategorikan menjadi things, yang memiliki bentuk yang tetap dan dapat dihitung (seperti meja, kursi), dan stuff, yang tidak memiliki bentuk tetap dan tidak dapat dihitung (seperti langit, dinding). Metode deteksi objek dan segmentasi instance mampu mengidentifikasi tiap satuan objek things, di mana segmentasi instance memberikan representasi yang lebih detail. Di sisi lain, segmentasi semantik mampu mengidentifikasikan things dan stuff namun tidak mampu mensegmentasi pada tingkat satuan objek. Segmentasi panoptik, gabungan dari kedua metode segmentasi tersebut, mampu mengidentifikasi objek dan stuff serta mensegmentasi pada tingkat satuan objek.

            Untuk menerapkan segmentasi panoptik dalam ruangan perlu dilakukan pertimbangan mengenai variabilitas kondisi ruangan, salah satunya adalah kontras. Tinggi atau rendahnya kontras pada ruangan berpotensi mengurangi kejelasan bentuk suatu objek sehingga mempengaruhi hasil segmentasi objek tersebut. Penelitian pengaruh variasi kontras terhadap kinerja segmentasi panoptik dilakukan menggunakan model pembelajaran mendalam. Kemudian kemampuan generalisasi model pada berbagai kontras ditingkatkan dengan mengoptimalkan model menggunakan kumpulan data yang ditambah augmentasi kontras. Hasilnya menunjukkan bahwa model deep learning yang dioptimalkan ulang menggunakan data yang diaugmentasi kontras mampu meningkatkan generalisasi lebih baik daripada model asli yang dilatih tanpa augmentasi kontras dengan peningkatan PQ sebesar 0,5?n RQ sebesar 0,7%, serta kesalahan segmentasi dan pengenalan yang lebih sedikit setelah diuji pada 40 gambar uji berbeda, Namun, model deep learning yang dibangun memiliki batasan pada saat mensegmentasi gambar dengan resolusi rendah dan mensegmentasi tiap instance objek kecil yang saling berdekatan atau bertumpukan yang menyebabkan oklusi.

Robot perception involves recognizing the surrounding environment, particularly in indoor spaces like kitchens, classrooms, and dining areas. This recognition is crucial for tasks such as object identification that is used by robots to interact with its surroundings and understand given commands. Objects can be categorized into "things," with fixed and countable shapes (e.g., tables, chairs), and "stuff," which lack a fixed shape and cannot be counted (e.g., sky, walls). Object detection and instance segmentation methods excel in identifying each instance in "things," with instance segmentation providing more detailed representations. On the other hand, semantic segmentation can identify both "things" and "stuff" but lacks segmentation at the object level. Panoptic segmentation, a fusion of both methods, offers comprehensive object and stuff identification and object-level segmentation.

To implement panoptic segmentation indoors, considerations need to be made regarding the variabilities of room conditions, one of which is contrast. High or low contrast in the room potentially reduces the clarity of the shape of an object, thus affecting the segmentation results of that object. An experiment on how contrast varieties impact the panoptic segmentation performance is conducted using a deep learning model. The model generalization on the various contrast is improved by optimizing the model using contrast-augmented dataset. The result shows that the deep learning model optimized using contrast-augmented dataset is able to outperform and generalize better than the original model that is trained without the contrast augmentation with an increase of 0,5% in PQ and 0.7% in RQ, and less segmentation and recognition mistakes after being tested on 40 different test images. However, the built deep learning model has limitations when segmenting images with low resolution and segmenting each instance of small objects that are close to each other or overlapping which causes occlusion.

Kata Kunci : panoptic segmentation, image contrast, indoor environment, deep learning, computer vision, artificial intelligence