Penerapan Metode Lasso dan Adaptive Lasso dengan Algoritma Coordinate Descent untuk Regresi Linear Berganda dengan Masalah Multikolinearitas

PRADITA SUKMA BHAKTI, Prof. Dr.rer.nat Dedi Rosadi, S.Si., M.Sc.

2023 | Skripsi | S1 STATISTIKA

Metode Ordinary Least Square (OLS) merupakan salah satu metode untuk mengestimasi model regresi linear. Pada metode OLS terdapat asumsi yang harus dipenuhi yaitu asumsi linearitas, normalitas, homoskedastisitas, dan multikolinearitas. Dalam praktiknya, sering dijumpai keadaan dimana asumsi multikolinearitas ini tidak terpenuhi. Hal ini mengakibatkan model OLS menjadi memiliki variansi yang tinggi dan dinilai kurang akurat. Guna mengatasi masalah multikolinearitas, digunakanlah metode regresi terpenalti seperti Lasso dan Adaptive Lasso yang mampu menyusutkan nilai koefisien regresi dan menyeleksi variabel yang masuk model. Pada metode Lasso terdapat kelemahan yaitu bias pada estimatornya. Untuk itu dikembangkanlah metode Adaptive Lasso yang menambahkan bobot pada model penaltinya. Dalam skripsi ini diambil studi kasus menggunakan data kemiskinan Provinsi Jawa Tengah Tahun 2021 yang terdapat masalah multikolinearitas. Adapun proses estimasi model digunakan algoritma Coordinate Descent dan dalam pemilihan model terbaik diukur berdasarkan nilai Mean Square Error (MSE).

The Ordinary Least Square (OLS) method is a method for estimating linear regression models. There are assumptions for the OLS method, like normality, homoscedasticity, autocorrelation, and multicollinearity. In practice, there are situations where the assumption of no multicollinearity is not met. This causes the OLS model to have high variance and be less accurate. In order to overcome the problem of multicollinearity, penalized regression methods such as Lasso and Adaptive Lasso are used, which are able to reduce the value of the regression coefficient and select the variables included in the model. There is a weakness in the Lasso method where the estimator is biased. For this reason, the Adaptive Lasso method was developed, which adds weight to the penalty model. In this final project, a case study is taken using poverty data in Central Java in 2021 which has a multicollinearity problem. In this final project, Coordinate Descent algorithm is used in the estimation process and the best model is measured based on the Mean Square Error (MSE) value.

Kata Kunci : Regresi, Multikolinearitas, Lasso, Adaptive Lasso, Coordinate Descent