Optimisasi Bayesian-Hyperband Multiobjektif pada Model Long-Short Term Memory untuk Analisis Sentimen dengan Metode Metrik Terbobot

Raden Aurelius Andhika Viadinugroho, Prof. Dr.rer.nat. Dedi Rosadi, S.Si., M.Sc.

2023 | Tesis | MAGISTER MATEMATIKA

Salah satu tantangan dalam pembelajaran mesin adalah permasalahan hyperparameter tuning, dimana beberapa tantangan yang dihadapi oleh peneliti adalah ruang pencarian hyperparameter yang bersifat kontinu, bagaimana menyeleksi konfigurasi nilai hyperparameter yang menghasilkan performa model yang kurang baik, dan fungsi objektif yang tidak diketahui bentuk closed form nya. Lebih lanjut, pada pemodelan dengan menggunakan model jaringan saraf, model dengan performa yang baik umumnya membutuhkan waktu pelatihan model yang lama, sedangkan model dengan waktu pelatihan model yang cepat seringkali menghasilkan performa yang kurang baik. Optimisasi Bayesian-Hyperband (BOHB) adalah metode optimisasi yang menggabungkan strategi sampling dari Optimisasi Bayesian dengan model pengganti Tree Parzen Estimator (TPE) dan strategi pemangkasan dari Hyperband. Pada tesis ini, dilakukan proses optimisasi multiobjektif pada model Long-Short Term Memory (LSTM) menggunakan metode optimisasi BOHB dengan skalarisasi metrik terbobot. Fungsi objektif yang digunakan adalah nilai F1-score (Macro) dan waktu pelatihan model. Data yang digunakan pada studi kasus adalah data sekunder yang berupa data komentar dan ulasan dari berbagai media online di Indonesia (SmSA) yang bersumber dari penelitian Purwarianti dan Crisdayanti(2019) dan data klasifikasi emosi dari Twitter (EmoT) yang bersumber dari penelitian Saputri dkk(2018). Dari analisis yang dilakukan, diperoleh hasil bahwa metode optimisasi BOHB multiobjektif dengan skalarisasi metrik terbobot menghasilkan nilai F1-score yang lebih tinggi dan waktu pelatihan model yang lebih cepat pada kedua data dibandingkan dengan model yang dibentuk secara empiris dan model yang hanya mengoptimisasi salah satu dari nilai F1-score dan waktu pelatihan model.

One of the challenges in machine learning is hyperparameter tuning, where some of the challenges faced by researchers are continuous hyperparameter search spaces, how to prune some of the hyperparameter configurations that are underperformed, and the closed form of the objective function are unknown. Furthermore, when using neural network models, models with good performance generally require a long time to train, while fast-trained models often result in poor model performance. Bayesian Optimization-Hyperband (BOHB) are the optimization method that is combined the sampling strategy of Bayesian Optimization with the Tree Parzen Estimator (TPE) as the surrogate model and pruning strategy of Hyperband. In this thesis, a multiobjective optimization for Long-Short Term Memory (LSTM) model is conducted using BOHB with the weighted metric method. The objective function used are F1-score (Macro) and model training time. The data used in the case study are the secondary dataset about comments and reviews from various online media in Indonesia from Purwarianti dan Crisdayanti (2019) research and the emotion classification dataset from Saputri dkk(2018) research. From the analysis that is performed, it was found that multiobjective BOHB optimization with the weighted metric method produced a higher F1-score and faster model training time in both datasets compared to the baseline model and model that are only optimizing either F1-score and model training time.

Kata Kunci : Optimisasi multiobjektif, BOHB, metrik terbobot, LSTM.