Deteksi Intent pada Teks Bahasa Indonesia Menggunakan Bidirectional Long Short-Term Memory

CHIVA OLIVIA BILAH, Teguh Bharata Adji, S.T., M.T., M.Eng., Ph.D.;Ir. Noor Akhmad Setiawan, S.T., M.T., Ph.D.

2023 | Tesis | S2 Teknologi Informasi

        Pemrosesan Bahasa Alami (NLP) telah menjadi fokus penelitian dalam beberapa tahun terakhir. Tugas NLP telah diimplementasikan di berbagai sektor dan bidang. Chatbot adalah salah satu tugas NLP, yang memiliki fungsi untuk berkomunikasi dengan manusia menggunakan Bahasa alami. Banyak peneliti membangun model untuk menggambarkan kemampuan chatbot. Untuk membuat chatbot menjadi lebih kuat, kalimat yang mewakili maksud tertentu pengguna saat berinteraksi dengan chatbot, harus diklasifikasi. Klasifikasi yang disebut sebagai tugas klasifikasi intent yang akan membuat sistem chatbot lebih fokus yang mengarah pada memberikan jawaban yang tepat. Jika, Manusia dapat memahami arti dari kalimat yang berbeda dengan maksud yang sama. Namun, sistem chatbot akan membutuhkan teknik yang rumit. Tugas klasifikasi intent telah banyak dikembangkan sejak ditemukannya pendekatan machine learning. Namun arsitektur machine learning memiliki keterbatasan untuk menangani jumlah data yang besar sehingga kemudian dikembangkan dengan arsitektur deep learning.

        Penelitian ini menggunakan pedekatan variasi dari arsitektur deep learning untuk melakukan klasifikasi intent pada teks Bahasa Indonesia menggunakan dataset ATIS (Airline Travel Information System).  Variasi arsitektur deep learning RNN dan CNN dipilih karena mampu menangani data dengan jumlah yang besar. Dalam pengujian algoritme ini, kami juga menerapkan penggunaan GloVe embedding sebelum data diproses menggunakan variasi algorime deep learning untuk menghasilkan model klasifikasi intent yang optimal. Hasil ekperimen komparatif pada 8 model dari varian RNN dan CNN memiliki akurasi rata – rata yaitu 92,60?n 91,08%. Hasil akurasi CNN ternyata mampu menyaingi dari model baseline untuk tugas klasifikasi teks, namun belum mampu untuk mengungguli nilai akurasi variasi RNN. Akurasi terbaik terdapat pada model BiLSTM sebesar 96,95%.

Natural Language Processing (NLP) has been the focus of research in recent years. NLP tasks have been implemented in various sectors and fields. Chatbot is one of the NLP tasks, which has the function to communicate with humans using natural language. Many researchers build models to describe the capabilities of chatbots. To make the chatbot more powerful, sentences that represent the intent of users when interacting with the chatbot, must be classified. The classification called as a intent classification task will make the chatbot system more focused which leads to providing the right answers. If humans can understand the meaning of different sentences with the same intent. However, a chatbot system would require complicated techniques. Intent classification tasks have been widely researched since machine learning approaches was developed. However, machine learning architectures have limitations to handle large amounts of data, so deep learning architectures were created to solved this problem.

This research uses a variation approach of deep learning architecture to implemented intent classification on Indonesian text using ATIS (Airline Travel Information System) dataset.  Deep learning architectures such as variations of RNN and CNN model were chosen because they can handle large amounts of data. In testing these algorithms, we also implemented the use of GloVe embedding before the data is processed using variations of deep learning algorithms to produce an optimal result for intent classification model. Comparative experimental results on 8 models from varian RNN and CNN models that have an average accuracy of 92.60% and 91.08%. CNN accuracy results were able to comparing with the baseline model for text classification tasks because it has a good result, but can’t be able have a better accuracy values of variety RNN. The best accuracy produced in the BiLSTM model of 96.95%.  

Kata Kunci : klasifikasi intent, deep learning, word embedding, Bidirectional, neural network, akurasi