PENGEMBANGAN MODEL MESIN PENERJEMAH INGGRIS INDONESIA MENGGUNAKAN RECURRENT NEURAL NETWORK LSTM DAN ATTENTION

M RIFKY SAIFUL HUDA, Afiahayati, S.Kom., M.Cs., Ph.D

2020 | Tesis | MAGISTER ILMU KOMPUTER

Mesin penerjemah mempunyai tugas untuk secara otomatis mengkonversi teks sumber dalam satu bahasa ke teks dalam bahasa lain. Recurrent Neural Network (RNN) merupakan sebuah model dari jaringan saraf tiruan yang cocok digunakan untuk klasifikasi pola dengan masukan dan keluaran sistem berupa data sequensial, termasuk di dalamnya mengubah urutan kata dalam bahasa Inggris menjadi urutan kata dalam bahasa Indonesia. Arsitektur RNN biasanya memiliki kelemahan ketika mempelajari informasi dengan interval yang panjang (long term dependencies). Dalam penelitian ini, Long Short-Term Memory (LSTM) adalah model khusus RNN yang mempu mengatasi permasalahan ketidakmampuan mampelajari long-term dependencies tersebut. Long Short-Term Memory digunakan dalam proses penerjemahan bahasa Inggris kedalam bahasa Indonesia dapat mengatasi permasalahan vanishing gradient yang menyebabkan gagalnya pembelajaran long-term dependency pada RNN. Proses penerjemahan terdiri dari beberapa tahapan diawali dengan proses encoding. Pada proses encoding setiap kata yang semula berupa teks diubah menjadi vektor menggunakan metode word2vec. Suatu kalimat dalam bahasa Inggris yang telah berubah menjadi urutan vektor tersebut kemudian dimasukkan kedalam layer-layer LSTM. Keluaran dari proses encoding adalah sebuah vektor konktes. Pada proses decoding akan dihasilkan kata-kata dalam bahasa Indonesia dengan menggunakan vektor konteks sebagai input. Mekanisme attention digunakan pada proses decoding untuk melihat kembali kata-kata dalam proses encoding serta memberikan penekanan lebih pada kata-kata tertentu. Hasil evaluasi terhadap nilai akurasi model bahasa menunjukkan bahwa dengan menggunakan model LSTM dan attention dapat menghasilkan hasil akurasi yang lebih baik. Model LSTM dan attention memiliki skor BLEU sebesar 68,04, yang lebih baik dari model LSTM tanpa attention yang memiliki skor BLUE sebesar 60,08.

The translation machine has the task of automatically converting source text in one language to text in another language. Recurrent Neural Network (RNN) is a model of artificial neural networks suitable for pattern classification with input and output systems in the form of sequential data, including changing the order of words in English into word sequences in Indonesian. RNN architecture usually has a weakness when learning information with long intervals (long term dependencies). In this study, Long Short-Term Memory (LSTM) is a special RNN model that is able to overcome the problem of inability to learn the long-term dependencies. Long Short-Term Memory used in the process of translating English into Indonesian can overcome the problem of vanishing gradient that causes the failure of long-term dependency learning on RNN. The translation process consists of several stages beginning with the encoding process. In the encoding process every word that was originally in the form of text is converted into a vector using the word2vec method. An English sentence that has been changed into a vector sequence is then inserted into the LSTM layers. The output of the encoding process is a vector vector. In the decoding process words will be produced in Indonesian by using context vectors as input. The attention mechanism is used in the decoding process to look back at the words in the encoding process and to put more emphasis on certain words. The results of the evaluation of the accuracy value of the language model show that using the LSTM model and attention can produce better accuracy results. The LSTM and attention models have a BLEU score of 68.04, which is better than the LSTM model without attention which has a BLUE score of 60.08.

Kata Kunci : Recurrent Neural Network, Mesin Penerjemah, Long Sort Term Memory