MODEL VALIDASI JAWABAN UNTUK INDONESIAN QUESTION ANSWERING SYSTEM MENGGUNAKAN RECOGNITION TEXTUAL ENTAILMENT

ABDIANSAH, Dr. Azhari, M.T.; Anny Kartika Sari, M.Sc., Ph.D.

2019 | Disertasi | DOKTOR ILMU KOMPUTER

Penelitian ini berisi tentang pembuatan model validasi jawaban untuk IQAS. Model tersebut dibagi menjadi dua sub-model yaitu: (1) MODEL-1 yang bertujuan untuk menghasilkan Dokumen Pendukung Hipotesis (DPH). DPH dibuat berdasarkan pemrosesan teks yang berasal dari Web. Ada delapan tahap pembuatan DPH yaitu: Automatic Hypothesis Generation (AHG), Pencarian URL, Pengambilan HTML, Ekstraksi Teks, Penghilangan Derau, Tokenisasi Kalimat, Seleksi Kalimat, dan Pemangkasan Kalimat; (2) MODEL-2 yang bertujuan untuk melakukan validasi jawaban IQAS menggunakan Recognition Textual Entailment (RTE) dengan Bilingual Evaluation Understudy (BLEU) sebagai teknik inferensi tekstualnya. Model ini menggunakan DPH sebagai informasi pendukung untuk memutuskan apakah jawaban yang dihasilkan oleh IQAS bernilai VALID atau REJECTED. Pengujian model menggunakan data set pasangan tanya-jawab yang dibuat secara manual dengan domain Sejarah Nasional Indonesia. Sebanyak 800 pasangan tanya-jawab yang dibagi menjadi dua bagian, yaitu 400 pasangan tanya-jawab yang bernilai benar dan 400 pasangan tanya-jawab yang bernilai salah. Evaluasi hasil pengujian MODEL-1 diperoleh nilai f-measure dan accuracy sebesar 68,26% dan 65,13%. Sedangkan untuk MODEL-2 diperoleh sebesar 79,45% dan 70,47%. Hasil pengujian dari kedua model tersebut dianggap cukup layak dijadikan sebagai baseline penelitian karena berada di atas 70%, mengingat penelitian ini merupakan penelitian awal di bidang validasi jawaban IQAS.

This research was aimed at building an answer validation model for IQAS which was further divided into two sub-models. The first, MODEL-1, was to generate Supporting Documents of Hypothesis (SDH) based on processing text originating from the Web. This involves eight stages and they include Automatic Hypothesis Generation (AHG), URL Search, HTML Retrieval, Text Extraction, Noise Removal, Sentence Tokenization, Sentence Selection, and Sentence Pruning. The second, MODEL-2, was to validate the answer using Recognition Textual Entailment (RTE) with Bilingual Evaluation Understudy (BLEU) as its textual inference technique. Furthermore, the model made use of SDH as supporting information in deciding whether the answer of IQAS is VALID or REJECTED. The IQAS answer validation model testing was conducted through the use of question-answer data sets manually created based on Indonesian National History domain. A total of 800 question-answer pairs were gathered and divided into two parts with 400 containing the right answers and 400 wrong answers. The evaluation results of MODEL-1 obtained f-measure and accuracy values of 68.26% and 65.13% respectively while MODEL-2 obtained values of 79.45% and 70.47% respectively. These are considered quite feasible and could be used as a research baseline because they were above 60%. However, this research is the first in the field of answer validation for IQAS.

Kata Kunci : IQAS, RTE, BLEU, validasi jawaban / IQAS, RTE, BLEU, answer validation