Feedforward Neural Networks untuk pemodelan runtun waktu

SUHARTONO, Promotor Prof.Drs. H. Subanar, Ph.D

2007 | Disertasi | S3 Matematika

Neural Networks (NN) merupakan salah satu contoh model nonlinear yang mempunyai bentuk fungsional fleksibel dan mengandung beberapa parameter yang tidak dapat diinterpretasikan seperti pada model parametrik. Salah satu bentuk model NN yang banyak digunakan untuk berbagai aplikasi adalah Feedforward Neural Networks (FFNN). Peramalan data runtun waktu adalah salah satu bidang dari pemodelan statistik yang sejak awal telah banyak digunakan untuk aplikasi model NN. Dalam penerapannya, FFNN mengandung sejumlah parameter (weight) yang terbatas. Bagaimana mendapatkan model FFNN yang sesuai, yaitu bagaimana menentukan kombinasi yang tepat antara banyaknya variabel input dan banyaknya unit pada lapis tersembunyi (yang berimplikasi pada banyaknya parameter yang optimal), merupakan topik sentral dalam penelitian tentang NN. Bentuk umum FFNN yang digunakan untuk peramalan runtun waktu univariat pada penelitian ini adalah FFNN dengan satu lapis tersembunyi dan satu unit neuron di lapis output. Estimasi parameter (weight) model ini dilakukan dengan menerapkan algoritma backpropagation pada suatu optimisasi Nonlinear Least Squares. Dengan menggunakan beberapa teorema asimtotis dan konvergensi, dapat diturunkan sifat asimtotits estimator yang mengikuti distribusi normal multivariat asimtotis. Sifat asimtotis estimator ini selanjutnya digunakan untuk konstruksi uji statistik Wald yang dapat diimplementasikan untuk inferensia statistik terhadap estimator-estimator model FFNN. Suatu uji statistik baru melalui besaran kontribusi penambahan atau R2 incremental telah dapat dikonstruksi. Uji ini dikonstruksi melalui tiga tahapan utama pemodelan, yaitu model Tereduksi, model Lengkap, dan penentuan uji statistik F . Kontribusi utama hasil penelitian ini adalah diperolehnya dua prosedur baru untuk pembentukan model FFNN yang diaplikasikan untuk peramalan runtun waktu. Prosedur pertama mengimplementasikan uji statistik F pada R2 incremental dalam skema forward yang dimulai dengan penentuan jumlah unit di lapis tersembunyi dan dilanjutkan penentuan variabel input yang optimal. Prosedur kedua menggunakan kombinasi antara uji statistik F pada R2 incremental dalam skema forward untuk penentuan jumlah unit di lapis tersembunyi dengan uji Wald dalam skema backward untuk penentuan variabel input yang optimal. Hasil kajian empiris menunjukkan bahwa algoritma ini dapat bekerja dengan baik dalam menentukan arsitektur FFNN terbaik yang diterapkan untuk peramalan runtun waktu. Hasil-hasil empiris berkaitan dengan perbandingan ketepatan ramalan antara model FFNN dengan model-model runtun waktu yang lain menunjukkan bahwa tidak ada jaminan bahwa FFNN selalu memberikan hasil yang terbaik. Selain itu, kajian empiris tentang efek pemrosesan awal data juga telah dilakukan dan menunjukkan bahwa pemilihan metode pemrosesan awal data yang tepat dapat secara signifikan meningkatkan ketepatan ramalan FFNN. Pada akhirnya, kajian perbandingan ketepatan ramalan pada kasus runtun waktu yang multivariat juga telah diperkenalkan. Hasil perbandingan pada data produksi minyak menunjukkan bahwa FFNN memberikan hasil ramalan yang lebih baik dibandingkan dengan model GSTAR (Generalized Space-Time Autoregressive) dan VAR (Vector Autoregressive).

Neural Networks (NN) is a prominent example of nonlinear model which has a flexible functional form and contains parameters that have no interpretation such as in parametric model. Feed forward neural networks (FFNN) is the most commonly used NN architecture in many fields of application. Time series forecasting has been an important application of NN from the very beginning. In the application of FFNN, it contains limited number of parameters (weights). How to find the best FFNN model, that is, how to find an accurate combination between number of input variables and neurons in hidden layer (imply the optimal number of parameters), is a central topic in NN research. In this paper, the general form of FFNN used for univariate time series forecasting is FFNN which contains one hidden layer and one unit neuron at the output layer. Parameters estimation of FFNN model is done by implementing backpropagation algorithm on the Nonlinear Least Squares optimization. Asymptotic properties of the estimators that follow asymptotic multivariate normal distribution can be derived by using some theorems of asymptotic and convergence. Then, these properties are used to construct Wald test that can be implemented for statistical inference of FFNN estimators. By using contribution incremental or R2 incremental, the new statistic test has been constructed. This test contains three main steps of modeling, i.e. Reduced model, Full model, and determination of F test statistic. Two new procedures for FFNN model building applied for time series forecasting are the main contribution of this research. The first procedure implements F test for R2 incremental inference in forward scheme that start from determination of the number of neurons in hidden layer and then selection of the optimal inputs. The second procedure uses a combination between F test for R2 incremental inference in forward scheme for determining the number of neurons in hidden layer andWald test in backward scheme for selecting the optimal inputs. The empirical results show that two procedures can work properly for determining the optimal FFNN architecture that is applied for time series forecasting. The comparison results between FFNN and other time series models show that FFNN does not always yield the best forecast. Additionally, the empirical study about the effect of data preprocessing has been also done and the result shows that determination of an optimal data preprocessing can increase significantly the forecast accuracy of FFNN. Finally, the comparison study between FFNN and other time series models on the multivariate case has been also conducted. The comparison result by using the oil production data shows that FFNN yields better forecast than GSTAR (Generalized Space-Time Autoregressive) and VAR (Vector Autoregressive) models.

Kata Kunci : Analisis Runtun Waktu,Feedforward Neural Networks, Feed forward Neural Networks (FFNN), backpropagation,Wald test, R2 incremental, data preprocessing, time series, univariate, multivariate