Kriteria kesesuaian model untuk penentuan arsitektur optimal pada model Neural Network untuk pemodelan Time Series

RAIS, Prof.Drs. Subanar, Ph.D

2005 | Tesis | S2 Matematika

Dalam kurun dua puluh tahun terakhir Akaike’s Information Criterion (AIC) digunakan sebagai dasar yang berpengaruh kuat dalam mengevaluasi berbagai permasalahan model statistik. Dalam tesis ini dipelajari teori secara umum prosedur dari Akaike’s Information Criterion (AIC) dan Network Information Criterion (NIC) untuk menentukan arsitektur optimal pada model neural network. Neural network banyak digunakan untuk memutuskan berbagai macam permasalahan klasifikasi. Sifat-sifat komputasional dari berbagai macam desain network telah dianalisis, tetapi keputusan mana yang terbaik dari beberapa arsitektur network yang bersaing untuk permasalahan diberikan tetapan yang subjektif. Hubungan antara neural network yang optimal dan model identifikasi statistik adalah ditetapkan dan derivative Akaike’s Information Criterion (AIC) dan Network Information Criterion (NIC) diberikan. Modifikasi ini menghasilkan suatu informasi kriteria yang dapat digunakan untuk memilih suatu network terbaik (optimal), untuk permasalahan klasifikasi binary. Hubungan yang berperan penting untuk Network Information Criterion (NIC) digunakan sebagai dasar untuk menyeleksi model network yang optimal pada penentuan training set.

During the last twenty years, Akaike’s Information Criterion (AIC) has had a fundamental impact in statistical model evaluation problems. This paper studies the general theory of the Akaike’s Information Criterion (AIC) and Network Information Criterion (NIC) to determine the optimal architecture model of neural network. Neural network have been used to resolve a variety of classification problems. The computational properties of many of the possible network designs have been analyzed, but the decision as to which of several competing network architecture is “best” for a given problem remains subjective. A relationship between optimal neural network and model statistic identification is described. A derivative of Akaike’s Information Criterion (AIC) and Network Information Criterion (NIC) is given. This modification yields an information statistic which can be used to objectively select a “best” network for binary classification problems. This relation leads to a new Network Information Criterion (NIC) which is useful for selection the optimal network model based a given training set.

Kata Kunci : Model Statistik,AIC dan NIC, Neural Network, Multi-Layered Perceptions, Backpropagation, Kullback-Leibler Information, Entropy, Mutual Information, Akaike’s Information Criterion, Network Information Criterion.