Segmentasi Semantik Point Cloud untuk Pemodelan Ruang dengan PointNet

Calvin Wijaya, Dr. Ir. Harintaka, S.T., M.T., IPU., ASEAN Eng.

2023 | Tesis | MAGISTER TEKNIK GEOMATIKA

Informasi ruang menjadi salah satu sumber informasi utama dalam manajemen bangunan. Hal ini didasari dengan meningkatnya penggunaan Building Information Modeling (BIM) pada industri arsitektur, rekayasa, dan kontruksi (AEC). Data geometri model ruang dapat diakuisisi menggunakan peralatan laser scanner seperti Terrestrial Laser Scanner (TLS). Hasil scan dari TLS adalah point cloud yang dapat diolah menjadi model 3D ruang. Pengolahan data hasil scan ke model 3D seperti labeling umumnya masih menggunakan metode manual yang tidak efisien karena jumlahnya yang sangat banyak. Data point cloud juga memiliki karakteristik tidak teratur, tidak berurutan, dan tidak terstruktur sehingga penelitian terkait otomatisasinya menjadi perhatian saat ini. Deep learning dapat menjadi salah satu solusi alternatif untuk segmentasi point cloud. Namun umumnya deep learning membutuhkan data masukan yang teratur, tidak seperti point cloud. PointNet menjadi algoritma deep learning pertama yang menerima data masukan point cloud langsung tanpa mentransformasinya ke bentuk yang teratur. Penelitian ini bertujuan untuk melakukan analisis dan evaluasi dari proses segmentasi semantik point cloud hasil akuisisi TLS menggunakan PointNet. Penelitian ini secara garis besar terbagi menjadi tiga tahapan, yakni persiapan, akuisisi data, dan pengolahan-analisis hasil. Persiapan merupakan tahapan untuk menyiapkan instrumen, tim, jadwal, administrasi dan melakukan survei pendahuluan. Penelitian ini akan mensegmentasi point cloud menjadi sembilan kelas elemen ruang. Tahapan akuisisi data bertujuan untuk mengumpulkan seluruh data yang digunakan, yakni point cloud dengan TLS serta data titik ikat yang diakuisisi dengan metode GNSS �¢ï¿½ï¿½ Terestris. Hasilnya kemudian diproses diawali dengan pre-processing point cloud meliputi noise filtering, subsampling dan georeferencing serta pembagian training dan test data. Penelitian ini menggunakan 70% data untuk training dan 30% untuk testing. Penggunaan PointNet untuk segmentasi semantik point cloud diawali dengan proses training yang menciptakan model berisi seluruh pengetahuan dan informasi terkait cara melakukan segmentasi. Model ini kemudian dievaluasi dengan test dataset dan diperoleh matrix Intersection over Union (mIoU) dan dilanjutkan proses prediction seluruh data sisanya. Hasilnya kemudian dapat dianalisis dan dievaluasi. Penelitian ini menggunakan PointNet dikarenakan algoritma PointNet dapat melakukan pemrosesan point cloud langsung tanpa proses regularisasi. Hasil penelitian menunjukkan bahwa PointNet dapat digunakan untuk melakukan segmentasi dengan data masukan yakni data point cloud secara langsung tanpa proses transformasi. Hasil evaluasi menunjukkan skor mIoU terhadap model dan IoU per kelas setelah evaluasi masih dibawah 50%, kemungkinan disebabkan perbedaan kondisi ruang antara training dan test data. Penggunaan dan pemilihan training dan test data yang baik dan optimal menunjukkan hasil skor evaluasi yang lebih tinggi. Selain itu, penggunaan metode transfer learning telah meningkatkan performa dan skor evaluasi dibandingkan tidak menggunakannya. Dari penelitian ini juga diperoleh komparasi hasil segmentasi dengan data point cloud di sistem koordinat lokal dan sistem koordinat tanah.

Indoor information is one of the main sources of information in building management. This is based on the increasing use of Building Information Modeling (BIM) in the Architecture, Engineering, and Construction (AEC) industry. The geometry of indoor data can be acquired using laser scanner equipment such as the Terrestrial Laser Scanner (TLS). The scan results from TLS are point clouds that can be processed into a 3D indoor model. Processing scanned data into 3D models such as labeling generally still uses inefficient manual methods caused by a high number of data. Point cloud data is also irregular, unordered, and unstructured, so research related to its automation is of concern at this time. Deep Learning can be an alternative solution for point cloud segmentation. But generally, Deep Learning requires regular input data, unlike point clouds. PointNet is the first deep learning algorithm that accepts point cloud data as input directly without transforming the point cloud into an orderly form. This study aims to analyze and evaluate the point cloud segmentation process resulting from TLS acquisition using the PointNet deep learning model. The research is divided into three stages, namely preparation, data acquisition, and results analysis. Preparation is the stage for preparing instruments, teams, schedules, administration, and conducting a preliminary survey. This research will segment the point cloud into nine indoor element classes. The data acquisition stage aims to collect all the data used, namely point clouds with TLS and tie point data acquired by the GNSS-Terrestrial method. The results are then processed starting with point cloud pre-processing including noise filtering, subsampling, and georeferencing as well as the distribution of training and test data. This research uses 70% of data for training and 30% for testing. The PointNet used for point cloud semantic segmentation starts with a training process to create a trained model which contains knowledge and information on how to do the segmentation. The trained model was then evaluated with a test dataset to get the matrix Intersection over Union (mIoU) score and do the prediction for the rest of the data. The results can then be analyzed and evaluated. The reason to use PointNet is that it is the first deep learning algorithm that directly consumes point clouds without the need for regularization. The results of this research show that PointNet can be used to segment point clouds with the input data being the point cloud data itself directly without transformation. The results of the evaluation show that the mIoU scores for the model and IoU per class after the evaluation are still below 50%, possibly due to differences in spatial conditions between the training and test data. The use and selection of good and optimal training and test data show a higher evaluation score. In addition, the use of the transfer learning method has increased performance and evaluation scores compared to not using it. This study also obtained a comparison of segmentation results with point cloud data in the local coordinate system and the ground coordinate system.

Kata Kunci : Point Cloud, Deep Learning, Transfer Learning, PointNet, TLS