Perbandingan metode Steepest Descent, Konjugat Gradien dan BFGS Quasi-Newton untuk pembelajaran Feed-Forward Neural Network

SUPRAPTO, Prof.Drs. H. Subanar, Ph.D

2006 | Tesis | S2 Matematika

Salah satu topik dalam Feed-Forward Neural Network adalah backpropagation. Backpropagation merupakan algoritma pembelajaran yang terawasi dan biasanya digunakan oleh perceptron dengan banyak lapisan untuk mengubah bobot-bobot (parameter) yang terhubung dengan neuron-neuron yang ada pada lapisan tersembunyi. Algoritma backpropagation menggunakan error output untuk mengubah nilai bobot-bobot dalam arah mundur (backward). Untuk mendapatkan error ini , tahap perambatan maju (forward propagation) harus dikerjakan dulu. Pada saat perambatan maju, neuron-neuron diaktifkan dengan menggunakan fungsi aktivasi yang dapat dideferensialkan. Algoritma pembelajaran pada jaringan feed-forward dilakukan dalam rangka melakukan pengaturan bobot untuk mendapatkan bobot-bobot (parameter) yang baik Selama proses pembelajaran, bobot-bobot diatur secara iterative untuk meminimumkan fungsi kinerja jaringan. Fungsi kinerja yang sering digunakan untuk backpropagation adalah Mean Square Error (MSE).Fungsi ini akan mengambil ratarata kuadrat error yang terjadi antara output jaringan dan target. Dalam tesis ini dibahas tiga (3) metode algoritma pembelajaran yaitu metode Steepest Descent, metode Konjugat Gradien dan metode BFGS Quasi-Newton. Pembahasan ditekankan pada aspek komputasi. Data real yang digunakan adalah angka kunjungan wisatawan mancanegara di Yogyakarta. Metode BFGS Quasi-Newton dengan algoritma pembelajaran trainbfg merupakan metode yang terbaik dari ketiga metode di atas, dengan hasil MSE = 1,20e-21, SSE = 4,23e-13 dan nilai r = 1.

One of the topics in Feed-Forward Neural Network is backpropagation. It is learning algorithm which is supervised and usually used by perceptron with many hidden layer to change weights (parameter) connect to the neurons on the hidden layer. Algorithm backprogation uses error output to change weights value in backward. In order to get it, forward propagation must be done first and neurons activated using activation function that able to be differentiated. Learning algorithm on feed-forward neural network is used to do good weights (parameter) arrangement during the learning process, weights are arranged in iterative to minimal network function. Network function often used in backpropagation is Mean Square Error (MSE). This function will take mean square error happened between network output and target. This thesis describes three (3) algorithm learning methods. They are Steepest Descent Method, Conjugate Method and BFGS (Broyden-Fletcher-Goldfarb-Shanno) Quasi-Newton Method. The discussion is emphasizing on the computation aspect. The real data used is the number of foreign tourist visiting Yogyakarta. From the three methods above, BFGS Quasi-Newton Method with learning algorithm trainbfg is the best method, with result MSE = 1,20e-21, SSE = 4,23e-13 and r value = 1.

Kata Kunci : Feed,Forward Neural Network,Backpropagation,Feed-Forward Neural Network, Backpropagation, Steepest Descent, Conjugate Gradient, BFGS Quasi-Newton