Analisis Klasifikasi Menggunakan Metode Gradient Boosting Machine (GBM) dan Light Gradient Boosting Machine (LGBM)

SANIA DWIKI N, Dr. Herni Utami, S.Si., M.Si.

2022 | Skripsi | S1 STATISTIKA

Pohon keputusan (decision tree) adalah salah satu metode dalam analisis klasifikasi. Salah satu algoritma dalam machine learning yang dapat digunakan untuk melakukan analisis klasifikasi dengan metode decision tree yaitu metode Gradient Boosting Machine (GBM). GBM adalah algoritma ensemble yang bekerja dengan cara memperkecil kesalahan model secara bertahap. Di sisi lain, perkembangan pesat dalam bidang teknologi mengakibatkan ketersediaan data yang semakin banyak dan kompleks. Ukuran data pun mengalami peningkatan dari hari ke hari. Hal ini mempengaruhi kecepatan dalam analisis sehingga kecepatan analisis juga sangat diperhitungkan. Oleh karena itu Light Gradient Boosting Machine (LGBM) muncul untuk mengatasi hal tersebut sebagai modifikasi dari aplikasi GBM. Dari hasil penelitan ini, diperoleh kesimpulan bahwa berdasarkan tingginya nilai pada performa klasifikasi, GBM merupakan metode kalsifikasi yang lebih baik digunakan pada data dengan ukuran sampel yang kecil sedangkan LGBM lebih baik digunakan pada data dengan ukuran sampel yang besar. LGBM rentan mengalami overfitting apabila diterapkan pada data dengan ukuran sampel yang kecil. Kemudian waktu yang dibutuhkan oleh metode LGBM dalam melakukan pembelajaran jauh lebih singkat dibandingkan waktu yang dibutuhkan metode GBM pada dataset yang sama dengan sampel besar.

Decision tree is one of the methods in classification analysis. One of the algorithms in machine learning that can be used to perform classification analysis with the decision tree method is the Gradient Boosting Machine (GBM) method. GBM is an ensemble that works by gradually reducing model errors. On the other hand, rapid developments in technology have resulted in the availability of more and more complex data. The size of the data is also increasing day by day. This affects the speed in the analysis so that the speed of the analysis is also important. Therefore the Light Gradient Boosting Machine (LGBM) emerged to overcome this as a modification of the GBM method. From the results of this study, it was concluded that based on the increase in the value of classification performance, GBM is a classification method that is better used on data with a small sample size while LGBM is better used on data with a big sample size. LGBM is prone to overfitting when applied to data with a small sample size. Then the time required by the LGBM method in conducting learning is much shorter than the time required by the GBM method on the same datasets with large samples.

Kata Kunci : Analisis Klasifikasi, Gradient Boosting Machine, Light Gradient Boosting Machine, Machine Learning