Segmentasi Keretakan Bangunan Dinding Secara Otomatis dari Data Foto Terestrial Menggunakan Yolo Deep Learning

MUHAMMAD DZAKI PRATAMA RAMADANIYOKO, Ir. Ruli Andaru, S.T., M.Eng., Ph.D.

2025 | Skripsi | TEKNIK GEODESI

Pemeliharaan infrastruktur beton yang efektif sangat penting untuk memastikan kekuatan dan durabilitas struktur dalam jangka panjang. Meskipun memiliki kekuatan tekan yang tinggi, beton sangat rentan terhadap retakan akibat berbagai faktor, seperti usia pakai, beban/tekanan berlebih, perubahan suhu, dan kondisi lingkungan. Retakan yang tidak terdeteksi atau tidak ditangani dapat mengurangi kekuatan struktural, bahkan membahayakan keselamatan pengguna. Salah satu tahapan deteksi retakan adalah dengan proses segmentasi bagian beton yang mengalami retakan. Metode konvensional untuk mensegmentasi retakan biasanya dilakukan dengan inspeksi secara visual langsung di lapangan. Metode ini tidak hanya memakan waktu dan biaya, tetapi juga terkadang hasilnya tidak konsisten, karena faktor subjektivitas manusia. Perkembangan deep learning dengan kemampuan analisis visual yang canggih mampu mengatasi keterbatasan tersebut.  Penelitian ini mengaplikasikan salah satu algoritma deep learning untuk mensegmentasi keretakan beton secara otomatis dengan model deep learning You Only Look Once (YOLO). Algoritma ini terus berkembang hingga versi terbarunya yaitu YOLOv8. Dengan pendekatan deep learning YOLOv8, maka proses inspeksi kualitas dinding beton dapat dilakukan secara optimal dan efisien.

Input data dalam penerapan algoritma YOLOv8 ini adalah foto retakan beton yang dipotret menggunakan kamera smartphone. Data foto yang diperoleh menggambarkan berbagai jenis retakan pada dinding beton dalam beragam kondisi lingkungan, seperti perbedaan sumber pencahayaan objek, variasi bentuk retakan objek, serta objek dengan variasi warna cat yang berbeda. Proses segmentasi keretakan diawali dengan pembuatan training dataset menggunakan platform Roboflow untuk proses labelling. Untuk menghasilkan dataset yang semakin variatif dan menghindari kondisi overfitting, dilakukan proses augmentasi yaitu proses modifikasi untuk membentuk variasi data baru dengan melakukan rotasi obyek secara horizontal dan vertikal, serta penambahan noise untuk meningkatkan kemampuan model dalam mengenali objek dengan kondisi yang kurang baik. Dataset dilatih menggunakan model YOLOv8 sebanyak 2000 epochs dengan script yang sudah dibuat pada perangkat lunak visual studio code menggunakan konfigurasi parameter yang disesuaikan untuk memastikan model sudah optimal. Selanjutnya, model yang sudah dilatih digunakan untuk mensegmentasi retakan terhadap 30 data foto retakan pada objek dinding beton lain. Hasil dari segmentasi ini berupa poligon dari bentuk retakan pada dinding beton dalam koordinat lokal yang dieksport dalam format geojson dan dapat divisualisasikan pada perangkat lunak GIS.

Hasil dari proses training menghasilkan model segmentasi keretakan beton dengan f1score sebesar 0,651. Model mampu mensegmentasi keretakan pada beton dalam berbagai variasi bentuk, ukuran, dan pola. Keretakan dengan dimensi 1 mm hingga 5 mm dari hasil gambar dengan GSD sebesar 0,04mm per pixel mampu disegmentasi dengan pola dan dimensi hasil segmentasi relatif sama dengan ground truth. Kecepatan proses segmentasi juga menunjukkan kinerja yang efeisien dengan rata-rata 1 menit 10 detik per frame foto. Untuk evaluasi model dilakukan dengan metrik Intersection over Union (IoU), yang mengukur seberapa luas intersect antara hasil prediksi model dengan data pembanding menghasilkan nilai rata-rata IoU yang dicapai adalah 0,802. Akan tetapi model YOLOv8 yang dibentuk masih menghasilkan beberapa kesalahan prediksi retakan terlebih pada gambar yang memiliki objek menyerupai retakan, seperti kotoran, coretan tangan, serta bayangan pada tembok yag dipotret. Secara garis besar, penelitian ini membuktikan bahwa metode segmentasi dengan algoritma YOLOv8 dapat digunakan sebagai metode yang efektif untuk mensegmentasi retakan beton secara otomatis secara optimal dengan tingkat akurasi yang cukup baik. 

Effective maintenance of concrete infrastructure is essential to ensure the strength and durability of the structure in the long term. Despite its high compressive strength, concrete is highly susceptible to cracks due to various factors, such as service life, excessive load/pressure, temperature changes, and environmental conditions. Undetected or untreated records can reduce structural strength, even endangering the safety of users. The method for detecting conventional cracks is usually done by direct visual inspection in the field. This method is not only time-consuming and costly, but sometimes the results are inconsistent, due to human subjectivity. The development of deep learning with sophisticated visual capability analysis is able to overcome these limitations. This study applies one of the deep learning algorithms to automatically detect concrete cracks with the You Only Look Once (YOLO) deep learning model. This algorithm continues to develop to its latest version, namely YOLOv8. With the YOLOv8 deep learning approach, the concrete wall quality inspection process can be carried out optimally and efficiently.

The input data in the application of the YOLOv8 algorithm is a photo of a concrete crack taken using a smartphone camera. The photo data obtained illustrates various types of cracks in concrete walls in various environmental conditions, such as differences in object lighting sources, variations in object crack shapes, and objects with different cat color variations. The crack detection process begins with the creation of a training dataset using the Roboflow platform for the labeling process. To produce a more varied dataset and avoid overfitting conditions, an augmentation process is carried out, namely a modification process to form new data variations by rotating objects horizontally and vertically, and adding noise to improve the model's ability to recognize objects with poor conditions. The dataset was drilled using the YOLOv8 model for 2000 epochs with a script that had been created in the visual studio code software using a parameter configuration that was adjusted to ensure that the model was optimal. Furthermore, the drilled model was used to detect cracks against 30 photo data of cracks in other concrete wall objects. The results of this detection are in the form of polygons from the shape of cracks in the concrete wall in local coordinates that are exported in geojson format and can be visualized in GIS software.

 The results of the training process produced a concrete crack detection model with an f1score of 0.651. The model is able to detect cracks in concrete in various shapes, sizes, and patterns. Cracks with dimensions of 1 mm to 5 mm from the image results with a GSD of 0.04 mm per pixel can be detected with the pattern and dimensions of the detection results relatively the same as the ground truth. The speed of the detection process also shows efficient performance with an average of 1 minute 10 seconds per photo frame. For model evaluation, the Intersection over Union (IoU) metric was used, which measures how wide the intersection is between the model's prediction results and the comparative data, resulting in an average IoU value of 0.802. However, the YOLOv8 model that was formed still produced several errors in predicting cracks, especially in images that have objects that resemble cracks, such as dirt, handwriting, and shadows on the photographed wall. In general, this study proves that the detection method with the YOLOv8 algorithm can be used as an effective method to automatically detect concrete cracks optimally with a fairly good level of accuracy.

Kata Kunci : Segmentasi, Retakan Beton, Deep Learning, YOLOv8, FotoTerestrial, IoU.