Generative Chatbot Berbahasa Indonesia Dengan Menggunakan Arsitektur Transformer

WINARTO SAPUTRO, Drs. Edi Winarko, M.Sc., Ph.D

2022 | Tesis | MAGISTER ILMU KOMPUTER

Chatbot merupakan program komputer yang dirancang untuk dapat melakukan interaksi dengan manusia melalui pesan teks maupun suara. Salah satu teknik pengembangan chatbot adalah generative chatbot dimana chatbot tersebut tidak menggunakan predefined respon dalam menjawab pertanyaan dari user, tapi yang dilakukan adalah menghasilkan respon berdasarkan data yang telah dilatih, biasanya berbentuk data percakapan atau data tanya-jawab. Pada saat ini telah banyak dilakukan penelitian dalam mengembangkan model percakapan berhasa Indonesia salah satunya menggunakan arsitektur sequence-to-sequence (seq2seq) dengan memanfaatkan Recurrent Neural Network dan varianya seperti Long Short-Term Memory (LSTM) dan Gate Recurrent Unit (GRU). Untuk meningkatkan performa generative chatbot berbahasa Indonesia pada penelitian ini menggunakan arsitektur sequence-to-sequence berbasis Transformer yang menerapkan self-attention pada encoder maupun decodernya serta dibandingkan dengan model berbasis GRU yang ditambahkan dengan Attention Mechanism. Chatbot dilatih menggunakan dataset pertanyaan dan jawaban serta dilakukan augmentasi data sebesar 7k dan 20k untuk melihat performa model terhadap ukuran data yang digunakan serta dievaluasi dengan menggunakan BLEU Score. Hasil Eksperimen yang dilakukan menunjukan bahwa model Generative Chatbot dengan menggunakan Transformer menghasilkan performa yang lebih unggul daripada menggunakan GRU dan Attention yang ditunjukan dengan nilai Bleu Score sebesar 66.146 untuk dataset 7k dan 63.08 untuk dataset 20k sedangkan model GRU menghasilkan nilai Bleu Score sebesar 59.532 untuk dataset 7k dan 61.672 untuk dataset 20k. Hasil eksperimen juga menunjukan bahwa model Transformer mempunyai waktu pelatihan yang lebih singkat daripada model GRU.

Chatbot is a computer program designed to be able to interact with humans via text or voice messages. One of the chatbot development techniques is a generative chatbot where the chatbot does not use predefined responses in answering questions from users, but what it does is generate responses based on data that has been trained, usually in the form of conversational data or question and answer data. Currently, many studies have been carried out in developing Indonesian language conversation models, one of which uses a sequence-to-sequence (seq2seq) architecture by utilizing the Recurrent Neural Network and its variants such as Long Short-Term Memory (LSTM) and Gate Recurrent Unit (GRU). In order to improve the performance of the Indonesian-language generative chatbot, this study uses a Transformer-based sequence-to-sequence architecture that fully applies self-attention to the encoder and decoder and is compared with the GRU-based model which is added with Attention Mechanism. The chatbot was trained using question and answer dataset and augmented the data by 7k and 20k to see the model's performance against the size of the data used and evaluated using the BLEU Score. The experimental results show that the Generative Chatbot model using Transformer produces superior performance than using GRU and Attention which is indicated by a Bleu Score value of 66,146 for the 7k dataset and 63.08 for the 20k dataset, while the GRU model produces a Bleu Score of 59,532 for the 7k dataset. and 61,672 for the 20k dataset. The experimental results also show that the Transformer model has a faster training time than the GRU model.

Kata Kunci : Chatbot, Sequence To Sequence, Self-attention, Transformer, BLEU Score