SISTEM QUESTION ANSWERING BERBAHASA INDONESIA MENGGUNAKAN TEXT-TO-TEXT TRANSFER TRANSFORMER (T5) YANG DIKOMPRESI DENGAN QUANTIZED LOW-RANK ADAPTATION (Q-LoRA)
Afifah Nurlaila, Teguh Bharata Adji, S.T., M.T., M.Eng., Ph.D.; Dr.Eng. Ir. Igi Ardiyanto, ST, M.Eng.
2024 | Tesis | S2 Teknologi Informasi
Perkembangan di bidang Natural Language Processing (NLP) saat
ini mengalami peningkatan yang luar biasa. Salah satunya dapat dilihat pada task Question Answering (QA), yang
memungkinkan pengguna berinteraksi dengan sistem secara lebih mudah. Dalam
pengembangan sistem QA, salah satu tantangan yang dihadapi adalah bagaimana
sistem dapat memberikan jawaban yang akurat sekaligus memperhatikan konteks. Pada
sistem QA berbahasa Indonesia yang termasuk dalam kategori low resource language, tantangan lainnya adalah keterbatasan pada dataset yang tersedia. Hal ini
mempengaruhi kinerja model terutama ketika menghadapi variasi dan kompleksitas
bahasa yang tidak selalu terwakili dalam dataset.
Salah satu solusi untuk mengatasi
keterbatasan ini adalah dengan menerjemahkan dataset dari bahasa resource-rich (seperti bahasa Inggris)
ke bahasa Indonesia. Penggunaan model Transformer, seperti T5, dalam
pengembangan sistem QA telah menjadi fokus penelitian terkait. Model T5
memungkinkan penerapan transfer learning
tanpa perlu penyesuaian arsitektur model secara signifikan dan format text-to-text memberikan fleksibilitas
yang besar dalam menyesuaikan model dengan berbagai domain dan jenis tugas NLP
termasuk QA. Sayangnya, kendala utama dari model T5 adalah kebutuhan akan
sumber daya komputasi yang besar, karena jumlah parameternya mencapai
246.078.720. Hal ini menjadi hambatan, terutama bagi pengguna yang tidak
memiliki akses ke komputasi tingkat tinggi atau infrastruktur memadai. Oleh
karena itu, penelitian ini bertujuan untuk mengkompresi jumlah parameter model
T5 agar dapat digunakan pada sumber daya dengan komputasi yang terbatas.
Berdasarkan hasil eksperimen, penerapan Q-LoRA pada proses fine-tuning dengan model T5 berhasil mengurangi jumlah parameter menjadi 1.769.472, jauh lebih rendah dibandingkan dengan model awal T5. Selain itu, penerapan Q-LoRA juga menghasilkan peningkatan efisiensi waktu pengujian. Langkah ini tidak hanya mengurangi kebutuhan memori tetapi juga meningkatkan efisiensi komputasi sehingga dapat digunakan pada sumber daya dengan komputasi yang terbatas.
The field of Natural Language Processing
(NLP) has experienced remarkable advancements, particularly in task Question
Answering (QA), enhancing user interaction with systems. However, a significant
challenge persists in the development of QA systems: ensuring that a system
provides accurate answers while considering context. Specifically, Indonesian QA
system, categorized as a low-resource language, encounters limitations in
available datasets. This affects the model's performance, especially when
confronted with language variations and complexities not fully represented in
the dataset. One solution to address these limitations is
translating dataset from resource-rich languages (e.g., English) to Indonesian.
The utilization of Transformer models, such as T5, in QA system development has
been a focal point of related research. T5 allows for the implementation of
transfer learning without significant architectural adjustments, and the
text-to-text format provides considerable flexibility in adapting the model to
various NLP domains and tasks, including QA. Unfortunately, a primary constraint
of the T5 model is its demand for substantial computational resources, given
its parameter count of 246,078,720. This poses a challenge, especially for
users lacking access to high-level computing or sufficient infrastructure.
Therefore, this study aims to compress the number of T5 model parameters to
make it viable for limited computational resources. Based on experimental results, the
integration of Q-LoRA during the fine-tuning process with the T5 model
successfully reduced the parameter count to 1,769,472, significantly lower than
the original T5 model. Furthermore, the integration of Q-LoRA also yielded an
improvement in inference time efficiency. This step not only reduced memory
requirements but also enhanced computational efficiency, enabling the
utilization of resources with limited computing capabilities.
Kata Kunci : Natural Language Processing, Question Answering, Compression Method, Text-to-Text Transfer Transformer (T5), Quantized Low-Rank Adaptation (Q-LoRA)