Perbandingan metode Gradient Descent With Momentum, Scaled Conjugate Gradient, dan Quasi Newton untuk pembelajaran Feed-Forward Neural Network

SAPTI, Mujiyem, Prof.Drs. H. Subanar, Ph.D

2007 | Tesis | S2 Matematika

Backpropagasi adalah salah satu topik dalam Feed-Forward Neural Network . Backpropagasi merupakan algoritma pembelajaran yang terawasi dan biasanya digunakan oleh perceptron dengan banyak lapisan untuk mengubah bobot-bobot (parameter) yang terhubung dengan neuron-neuron yang ada pada lapisan tersembunyi. Algoritma backpropagasi menggunakan error output untuk mengubah nilai bobot-bobot dalam arah mundur (backward). Untuk mendapatkan error ini , tahap perambatan maju (forward propagation) harus dikerjakan dulu. Pada saat perambatan maju, neuron-neuron diaktifkan dengan menggunakan fungsi aktivasi yang dapat dideferensialkan. Algoritma pembelajaran pada jaringan feed-forward dilakukan dalam rangka melakukan pengaturan bobot untuk mendapatkan bobot-bobot (parameter) yang baik Selama proses pembelajaran, bobot-bobot diatur secara iteratif untuk meminimumkan fungsi kinerja jaringan. Fungsi kinerja yang sering digunakan untuk backpropagasi adalah mean square error (MSE). Fungsi ini mengambil rerata kuadrat error yang terjadi antara output jaringan dan target. Dalam tesis ini dibahas tiga (3) algoritma pembelajaran yaitu metode Gradient Descent with Momentum, metode Scaled Conjugate Gradient dan metode BFGS Quasi-Newton. Pembahasan ditekankan pada aspek komputasi data real Indeks Harga Saham Gabungan (IHSG) pada Bursa Efek Jakarta. Metode BFGS Quasi-Newton dengan algoritma pembelajaran trainbfg merupakan metode yang terbaik dari ketiga metode di atas, dengan hasil MSE = 0,01108285, SSE = 2,694727e+004 dan nilai r = 0,99442.

Backpropagation is ones topics in Feed-Forward Neural Network. It is learning algorithm which is supervised and usually used by perceptron with many hidden layer to change weights (parameter) connect to the neurons on the hidden layer. Algorithm backprogation uses error output to change weights value in backward. In order to get it, forward propagation must be done first and neurons activated using activation function that able to be differentiated. Learning algorithm on feed-forward neural network is used to do good weights (parameter) arrangement during the learning process, weights are arranged in iterative to minimal network function. Network function often used in backpropagation is mean square error (MSE). This function will take mean square error happened between network output and target. This thesis describes three (3) algorithm learning methods. They are Gradient Descent with Momentum Method, Scaled Conjugate Method and BFGS (Broyden-Fletcher-Goldfarb-Shanno) Quasi-Newton Method. The discussion is emphasizing on the computation aspect about real data IHSG in Jakarta Stock Exchange . From the three methods above, BFGS Quasi-Newton Method with learning algorithm trainbfg is the best method, with result MSE = 0,01108285, SSE = 2,694727e+004 and r value = 0,99442.

Kata Kunci : Jaringan Syaraf Tiruan,Model FFNN,Algoritma Pembelajaran, Feed-Forward Neural Network, Backpropagation, Gradient Descent with Momentum, Scaled Conjugate Gradient, BFGS Quasi-Newton