Analisis Sentimen Headline Berita Mata Uang Kripto menggunakan Metode Transfer Learning Bidirectional Encoder Representations from Transformers (BERT)

Mutia Wulansari, Erwin Eko Wahyudi, S.Kom., M.Cs

2023 | Skripsi | ILMU KOMPUTER

Mata uang kripto dalam pemanfaatannya digunakan sebagai alat pembayaran dalam transaksi jual beli maupun investasi. Terdapat interaksi antara sentimen media dengan harga mata uang kripto yang disertai dengan kecenderungan investor bereaksi. Adanya keterbatasan dalam context understanding pada pembelajaran mesin tradisional menyebabkan kinerja yang buruk dalam tugas klasifikasi sentimen. BERT dianggap dapat menjadi solusi terhadap context understanding dalam tugas klasifikasi sentimen karena kemampuannya untuk untuk memprediksi kata-kata yang hilang dalam teks dan menganalisis setiap kalimat tanpa arah tertentu.

Penelitian ini melatih model BERT menggunakan data headline berita mata uang kripto dan menguji kombinasi hyperparameter yang diberikan untuk mencari model yang memberikan solusi yang paling optimal. Konfigurasi hyperparameter yang diuji yaitu learning rate 1e-6, 4e-6, 2e-5, 3e-5, 5e-5, 1e-4, dan 4e-4 dengan batch size 8, 16, dan 32. Hasil penelitian ini menunjukkan bahwa model dengan learning rate 5e-5 dan batch size 16 merupakan konfigurasi paling optimal dengan performa paling optimum. Selain itu, besaran batch size ditemukan berpengaruh terhadap jumlah epoch yang dibutuhkan untuk menyelesaikan pembelajaran.

Cryptocurrency in its utilization is used as a means of payment in buying and selling transactions as well as investments. There is an interaction between media sentiment and the price of cryptocurrencies, accompanied by tendencies for investors to react. The limitations in context understanding in traditional machine learning cause poor performance in sentiment classification tasks. BERT is considered to be a solution for context understanding in sentiment classification tasks due to its ability to predict missing words in text and analyze each sentence without specific direction.

This research trained a BERT model using cryptocurrency news headlines data and tested different combinations of hyperparameters to find the most optimal model. The tested hyperparameter configurations were learning rates of 1e-6, 4e-6, 2e-5, 3e-5, 5e-5, 1e-4, and 4e-4, with batch sizes of 8, 16, and 32. The results of this study indicate that the model with a learning rate of 5e-5 and a batch size of 16 is the most optimal configuration with the best performance. Additionally, the batch size was found to have an impact on the number of epochs required to complete the learning process.

Kata Kunci : Natural language processing (NLP), Analisis sentimen, Mata uang kripto, Pembelajaran mesin mendalam, Bidirectional Encoder Representations from Transformers (BERT)