PENERAPAN ELASTIC NET PADA REGRESI LOGISTIK DAN PERBANDINGANNYA DENGAN RIDGE DAN LASSO DALAM MENGHADAPI MASALAH MULTIKOLINEARITAS

Silvy Aqila Maharani, Drs. Danardono, MPH., Ph.D.

2025 | Skripsi | STATISTIKA

Dalam analisis regresi, seleksi variabel merupakan langkah penting untuk mengidentifikasi variabel-variabel yang berpengaruh terhadap variabel respon. Namun, proses ini sering terkendala oleh masalah multikolinearitas, yang dapat menurunkan akurasi seleksi dan kestabilan model. Untuk mengatasi permasalahan tersebut, dilakukan penelitian yang membandingkan tiga metode regularisasi pada regresi logistik, yaitu Ridge, LASSO, dan Elastic Net, guna mengetahui metode yang memberikan performa terbaik dalam membangun model regresi. Penelitian dilakukan menggunakan tiga dataset dengan karakteristik berbeda, yang dapat dibedakan menjadi data berdimensi besar dan tidak berdimensi besar. Evaluasi performa model dilakukan dengan menggunakan nilai Area Under the Curve (AUC) pada data latih dan data uji. Hasil analisis menunjukkan bahwa Elastic Net memiliki performa yang unggul dibandingkan kedua metode lainnya, terutama pada data berdimensi besar. Elastic Net tidak hanya mampu mengatasi multikolinearitas, tetapi juga efektif dalam melakukan seleksi variabel serta meningkatkan akurasi model. 

In regression analysis, variable selection is a crucial step to identify which predictors significantly influence the response variable. However, this process is often hindered by multicollinearity, which can reduce the accuracy of selection and compromise model stability. To address this issue, this study compares three regularization methods in logistic regression, namely Ridge, LASSO, and Elastic Net, to determine which method yields the best model performance. The analysis was conducted using three datasets with differing characteristics, categorized into high-dimensional and non-high-dimensional data. Model performance was evaluated using the Area Under the Curve (AUC) on both training and testing datasets. The results indicate that Elastic Net outperforms both Ridge and LASSO, particularly on high-dimensional data. Elastic Net not only effectively addresses multicollinearity but also enhances variable selection and improves model accuracy. 

Kata Kunci : regresi logistik, seleksi variabel, multikolinearitas, Ridge, LASSO, Elastic Net, logistic regression, variable selection, multicollinearity, Ridge, LASSO, Elastic Net