Implementasi Sistem Konfigurasi Router Berbasis Natural Language Processing dengan Pendekatan Low Rank Adaptation Finetuning dan 8-Bit Quantization

Hanung Addi Chandra Utomo, Yuris Mulya Saputra, S.T., M.Sc., Ph.D.

2023 | Tugas Akhir | D4 TEKNOLOGI JARINGAN

Konfigurasi Router merupakan salah satu hal penting dalam jaringan komputer. Proses ini memerlukan pemahaman tentang bahasa dan sintaks khusus yang dapat memakan waktu lama bagi seseorang yang tidak terbiasa. Penerapan Natural language processing bisa membantu mengatasi masalah ini. Untuk mencapai tujuan dari penerapan ini, Finetuning perlu dilakukan pada model yang ada seperti model GPT-J-6B yang telah dilatih menggunakan 6 milyar parameter. Dengan menggunakan dataset yang terdiri dari konfigurasi router, diharapkan proses finetuning bisa meningkatkan performa model untuk mendeteksi maksud dari input text dalam bahasa natural yang kemudian bisa memberikan command-command yang sesuai dengan perintah yang diberikan. Selain itu penggunaan teknik lain seperti Low Rank Adaptation (LoRA) yang dapat digunakan untuk mengoptimalkan proses Finetuning agar lebih efisien tanpa mengurangi performa model, dan penggunaan teknik 8-bit quantization untuk memperkecil penggunaan resource saat menjalankan model. Dengan beberapa teknik ini, proses finetuning dapat dilakukan dengan stabil dalam Google Colaboratory. Oleh karena itu, dengan implementasi NLP pada konfigurasi router ini dan teknik-teknik diatas, dapat meningkatkan efektivitas pengelolaan jaringan dengan menggunakan waktu dan sumber daya yang efisien. Melalui penelitian ini berhasil didapatkan model konfigurasi router berbasis NLP dengan akurasi sebesar 98%.

Router configuration is one of the important things in a computer network. This process requires an understanding of the language and special syntax which can take a long time for someone who is not used to it. The application of Natural language processing can help overcome this problem. To achieve the goal of this implementation, Finetuning needs to be done on existing models such as the GPT-J-6B model which has been trained using 6 billion parameters. By using a dataset consisting of router configurations, it is hoped that the finetuning process can improve the performance of the model to detect the intent of the input text in natural language which can then provide commands that match the commands given. Apart from that, the use of other techniques such as Low Rank Adaptation (LoRA) can be used to optimize the Finetuning process to make it more efficient without reducing model performance, and the use of 8-bit quantization techniques to minimize resource usage when running models. With these techniques, the finetuning process can be carried out stably within Google Collaboratory. Therefore, with the implementation of NLP on this router configuration and the techniques above, you can increase the effectiveness of network management by using time and resources efficiently. Through this research, an NLP-based router configuration model was successfully obtained with an accuracy of 98%.

Kata Kunci : Natural language processing, Konfigurasi Router, Finetuning, LoRA, 8Bit Quantization, Komputasi Awan, Machine learning, Deep learning