Model feedforward neural network untuk data polikotomus

REZEKI, Sri, Promotor Prof. Drs. Subanar, Ph.D

2008 | Disertasi |

Neural Network (NN) adalah sistem pemrosesan informasi yang mempunyai cara kerja dan karakteristik menyerupai jaringan syaraf otak manusia. NN dapat menghampiri pemetaan input-output linear dan nonlinear melalui kombinasi bobotbobotnya tanpa asumsi tentang bentuk hubungan fungsional antar variabel tersebut. Model feedforward neural network (FFNN) adalah salah satu model NN yang banyak digunakan untuk pemodelan data respon yang bersifat kategori. FFNN yang paling sederhana dengan fungsi aktivasi logsig disebut perceptron logistik. Jika output neuron lebih dari 1 dengan fungsi aktivasi softmax, maka perceptron logistik ekivalen dengan model logit multinomial atau regresi logistik polikotomus. Penambahan lapisan tersembunyi (hidden layer) pada arsitektur FFNN menyebabkan model lebih fleksibel. Model FFNN yang digunakan dalam penelitian ini adalah FFNN dengan satu lapisan tersembunyi. Masalah utama untuk mendapatkan arsitektur FFNN yang optimal adalah menentukan banyaknya neuron pada lapisan tersembunyi. Algoritma pembelajaran (learning) backpropagation merupakan metode yang paling umum digunakan untuk estimasi bobot-bobot (weights) model FFNN. Metode ini telah dikembangkan menjadi beberapa metode optimisasi orde satu dan dua yang lebih cepat konvergen. Sifat-sifat asimtotis estimator diturunkan menggunakan beberapa teorema asimtotis dan konvergensi sehingga dapat ditunjukkan bahwa estimator tersebut berdistribusi normal multivariat asimtotis. Pembuktian sifat-sifat tersebut mendasari gagasan penggunaan uji Wald untuk menguji signifikansi bobotbobot model. Kontribusi utama penelitian ini adalah diperolehnya suatu algoritma baru untuk pemilihan model terbaik FFNN pada data polikotomus. Algoritma ini menggunakan teknik resampling, uji-t berpasangan dan uji Wald. Resampling dilakukan sebanyak 1000 kali untuk mendapatkan data error (kesalahan klasifikasi) model. Uji-t berpasangan dilakukan karena ada kemungkinan pada saat proses pelatihan (training) FFNN mencapai nilai error yang minimum secara lokal, oleh karena itu model-model ditraining menggunakan sampel yang sama. Pada bagian akhir algoritma diterapkan uji Wald untuk menguji signifikansi bobot-bobot model. Penerapan algoritma baru tersebut pada data real (data iris Fisher) menunjukkan bahwa algoritma ini dapat bekerja dengan baik untuk pemilihan model FFNN yang optimal pada saat data respon bersifat polikotomus. Studi empiris menunjukkan bahwa kecepatan algoritma pembelajaran tergantung pada problem yang diberikan. Untuk masalah klasifikasi pada data iris, algoritma tercepat adalah resilent backpropagation. Sedangkan perbandingan rasio data training dan testing pada data iris menunjukkan bahwa rata-rata error terendah diperoleh pada rasio 80% data untuk training dan 20 % untuk testing.

Neural Network (NN) is an information-processing system that has certain performance characteristics in common with human brain. NN can approximate linear and nonlinear input-output mappings through a combination of weights. NN does not need assumption about functional form between the variables. Feedforward neural network (FFNN) is one of NN models usually applied for modelling of categorical response data. The simplest FFNN with logsig activation function is called logistic perceptron. By taking more than 1 output neurons and softmax activation function, logistic perceptron is equivalent to multinomial logit model or polychotomous logistic regression. By adding any hidden layer in FFNN architecture, the model becomes more flexible. FFNN model used in this research is FFNN with single hidden layer. The main problem to obtain the optimal network is how to determine a number of hidden neuron. Backpropagation learning algorithm constitutes a method frequently used for weights estimation in FFNN model. This method has been modified and developed to some optimization methods. Those are first and second order methods which faster than standard backprogation to converge. Asymptotic properties of the estimators are derived by using some theorems of asymptotic and convergence so that it can be shown that the estimators follow asymptotic multivariate normal distribution. These properties give idea to apply Wald-test for testing significance of the weights. The main contribution of this research is a new algorithm of FFNN model selection for polychotomous data. The algorithm applies resampling technique, paired t-test and Wald test. Resampling is employed 1000 times to obtain error (misclassification) data of the models. Paired t-test is used because FFNN may reach a local minimum of error while training process, so the models should be trained by using the same sample. Finally, Wald-test is utilized to evaluate the significance of parameters in the networks. Application to real problem (Fisher’s iris data) shows that the new algorithm work properly to select the optimal FFNN model when the data response is polychotomous. Empirical studies showed that the convergence speed of learning algorithm depend on a given problem. In classification problem for iris data, the fastest algorithm is resilient backpropagation. Moreover, comparison of the ratio between training and testing to iris data show that the lowest error mean is attained when the training data is 80% and the rest is for testing data.

Kata Kunci : FFNN,Backpropagation,Resampling,Uji-t berpasangan,Uji Wald,Data polikotomus,Klasifikasi, FFNN, backpropagation, resampling, paired t-test, Wald-test, polychotomous data, classification