Measuring Effectiveness of Bidirectional Encoders Represenatation from Transformers as Embedding Method for Story Cloze Test

RYAN ADINUGRAHA S, Drs. Bambang Nurcahyo Prastowo, M.Sc.; Yunita Sari, S.Kom., M.Sc., Ph.D

2021 | Skripsi | S1 ILMU KOMPUTER

Story Cloze Test adalah kerangka evaluasi yang dikembangkan untuk mengevaluasi pemahaman cerita dan pembelajaran naskah. Sejak pembuatannya, banyak penelitian telah dilakukan untuk menyelesaikan pengujian tersebut, dengan model terbaik saat ini mampu mencapai akurasi 77,6% (Chaturvedi et al., 2017). Perkembangan terkini dalam bidang Natural Language Processing memiliki beberapa terobosan dalam pengembangan model bahasa seperti Bidirectional Encoder Representations from Transformers (BERT) (Devlin et al., 2018) sebagai teknik pembelajaran mesin. Penelitian ini mempersembahkan solusi alternatif untuk menyelesaikan Story Cloze Test dengan menggunakan model BERT pretrained sebagai metode embedding. Integrasi metode embedding dengan 2 model klasifikasi unik (kelas jamak dan kelas biner) dilakukan untuk membentuk model pembelajaran mesin. Hasil akhirnya menunjukkan bahwa model memiliki akurasi 65,3% dan 75,4% untuk kedua model, di ambang hasil model state-of-art.

Story Cloze Test is a developed evaluation framework for evaluating story comprehension and script learning. Since its creation, numerous researches have been conducted to solve the test, with the current best model capable of achieving 77.6% accuracy (Chaturvedi et al., 2017). The latest development in Natural Language Processing field saw some breakthrough in language models development such as Bidirectional Encoder Representations from Transformers(BERT) (Devlin et al., 2018) as machine learning techniques. This research presented alternative solution for solving the Story Cloze Test using pretrained BERT models as embedding method. Integration of the embedding method with 2 unique classification models (multi-class and binary-class) was done to established the machine learning models. The end result showed that the model have 65.3% and 75.4% accuracy for both models, on verge of the result of state-of-art model.

Kata Kunci : Natural Language Processing, Embedding, BERT, Story Cloze Test, Classification Model