Regresi Ridge dan perkembangannya

IRZANI, Prof.Drs. H. Zanzawi Soejoeti, MSc.,Ph.D

2004 | Tesis | S2 Matematika

Dalam tulisan ini dibahas perkembangan regresi ridge yakni bentuk-bentuk dan sifat-sitanya, hal ini muncul karena adanya multikolinearitas diantara variabel prediktor. Estimator regresi ridge dirumuskan melalui metode kuadrat terkecil. Munculnya regresi ridge teritlak diperoleh dari transformasi model Y = Xf + e kebentuk kanonik menjadi Y = X*b + e dimana X* = XB dan b = B’f sehingga Ùb * = (X*’X* + K) -1X*’Y dengan K = diag(k1, k2, …, kp). Selanjutnya dengan cara menggabungkan estimator regresi ridge dengan estimator kuadrat terkecil restriksi, maka terbentuklah regresi ridge restriksi ini didefinisikan dengan suatu nilai yang meminimumkan m = f’f terhadap (f - f*)’X’X(f - f*) jika f*(r) merupakan penyelesaian dari persamaan (X’X + kI) f = X’Xf* maka diperoleh f*(r) = Zf* dengan Z = (Ip + kS-1)-1

In this paper I would like to discuss about the growth of forms and the characters of ridge regression, it is reasoned by the emergence of multicolinearity among predictor variable. Ridge regression Estimator formulated through the least squared method. The emergence of the generalized ridge regression obtained from model transformation Y = X f + e to canonic form Y = X*b + e where X* = XB and b = B'f so that Ùb * = ( X*'X K)- 1X*Y by K = diag(k1, k2 …, kp). Further more by combining the ridge regression estimator with the restriction least square estimator, so, it is formed the restriction of ridge regression which defined with a value that is minimizing m = f’f to (f -f*)’X’X(f - f*) if f*(r) representing a solution from equation (X’X + kI) f = X’Xf* thus, obtained by f*(r) = Zf* with the Z = (Ip + kS-1)-1

Kata Kunci : Matematika,Regresi Ridge,Perkembangan, Least Square Estimator, Ridge Regression, Generalized Ridge Regression, Ridge Regression restricted