MENEMUKAN REPRESENTASI MINIMUM DARI RECURRENT NEURAL NETWORK MENGGUNAKAN ANALISIS WAVELET

BAHRUNNUR, Dr.-Ing. Mhd. Reza M. I. Pulungan, S.Si., M.Sc.

2016 | Skripsi | S1 ILMU KOMPUTER

Perkembangan terkini dari Jaringan Syaraf Tiruan (JST) membuatnya menjadi semakin perkasa dibanding pendahulunya. Hal tersebut datang dengan efek samping yakni model JST menjadi semakin kompleks dan mempunyai struktur yang mahabesar. Penelitian dari Schmidhuber (1997) menunjukkan adanya kemungkinan untuk menemukan JST yang simpel dengan kemampuan inferensi yang prima. Koutnik et al. (2010) melanjutkan penelitian tersebut dengan cara pencarian praktis untuk menemukan Recurrent Neural Network (RNN) yang simpel. Koutnik menggunakan Transformasi Fourier sebagai mekanisme untuk menyandikan bobot RNN, sehingga pencarian dapat dilakukan di dimensi yang lebih rendah. Transformasi Wavelet merupakan generalisasi dari Transformasi Fourier dengan tingkat kompresi yang lebih baik. Dengan demikian, penggunaan Transformasi Wavelet sebagai mekanisme penyandian merupakan hal yang patut untuk dicoba. Penelitian ini berfokus pada metode encoding untuk RNN menggunakan Transformasi Wavelet. Encoding menghasilkan sebuah program yang ingin dicari menggunakan Universal Network Search. Pencarian tersebut didadasarkan dari landasan teori Levin Search (Levin, 1973) yang cenderung memilih program dengan panjang deskripsi yang pendek dan memiliki runtime yang cepat. Dalam kasus JST, jaringan yang memiliki bobot sedikit cenderung memiliki runtime yang cepat dan panjang program yang pendek. Encoding Wavelet ini dibandingkan dengan encoding Fourier dalam hal tingkat kompresi dan waktu untuk mencapai titik konvergen. Simulasi Single Pole Balancing digunakan sebagai cara untuk mengevaluasi performa dari setiap metode encoding. Hasil pengujian menunjukkan metode Wavelet lebih cepat mencapai titik konvergen dan memiliki tingkat kompresi yang tinggi pada pengujian non-Markov. Dalam pengujian Markov, kedua metode menunjukkan kemampuan yang sama dalam hal kompresi dan kecepatan untuk konvergen. Pengamatan lebih mendalam pada bobot yang dihasilkan dari metode Wavelet menunjukkan bahwa tidak terdapat koneksi recurrent di bobot tersebut (R = 0), menyebabkan RNN untuk bekerja selayaknya JST biasa. Meskipun metode Wavelet menunjukkan kinerja yang luar biasa di atas kertas, ia memiliki kelemahan bahwa terdapat kecenderungan untuk gagal menyeimbangkan tongkat setelah batas evaluasi di pengujian non-Markov.

The recent development of Neural Network shows that it becoming more powerful than the predecessor. Despite having an incredible inference ability, it comes with drawbacks that the model becomes a gigantic structure with complex computation mechanics. There is a research from Schmidhuber (1997) showing that it is possible to find a simple Neural Network with superior generalization/inference ability. Koutnik et al. (2010) continued the research with a practical search method to find a simple Recurrent Neural Network (RNN). Koutnik used Fourier Transform as a mechanism to encode RNN weights, so it could be searched on lower dimension space. Wavelet Transform is a generalization of Fourier Transform with a better compression rate. Thus, it is a good bet to try Wavelet Transform as an encoding mechanism. This research focuses on the encoding method for RNN using Wavelet Transform. The encoding generates a code to serve as a program to be searched on Universal Network Search. The search is based on a theoretical foundation from Levin Search (Levin, 1973) that favoring program with short description length and fast runtime. In term of Neural Network, a network that has few weights is likely to have fast runtime and short description length. This Wavelet encoding was compared with Fourier encoding in terms of compression rate and time to converge. Single Pole Balancing simulation is used as a way to evaluate the performance of each encoding method. The result's examination shows that Wavelet Transform has better speed to converge and high compression rate on the non-Markov test suite. In the Markov test suite, both of them have the same rate of compression and speed. The closer look at the weights that generated by Wavelet encoding showing that it doesn't have a recurrent connection (R = 0), so its RNN acts like a regular Neural Network. Even though Wavelet method shows remarkable performance on paper, it has a shortcoming that it could be failed after the evaluation boundary on the non-Markov test suite.

Kata Kunci : Recurrent Neural Network, Jaringan Saraf Tiruan, Kolmogorov Complexity, Single Pole Balancing Problem