Revumate: An Aspect-Based Sentiment Analysis Tool Using BERT and Deep Learning Approach

Adityo Julian Tri Wibowo Mukti, Dr. Agus Sihabuddin, S.Si, M.Kom.;Azhari SN, Drs., MT., Dr

2023 | Skripsi | ILMU KOMPUTER

Pada situs perdagangan elektronik yang populer seperti Amazon, sebuah produk mungkin memiliki ribuan ulasan yang membutuhkan banyak waktu untuk memproses setiap ulasan dan akhirnya memutuskan apakah akan membeli atau tidak. Aspect-Based Sentiment Analysis (ABSA) atau Analisis Sentimen Berbasis Aspek menyediakan jalan pintas untuk persoalan ini dengan mengekstrak setiap aspek dan sentimen sesuai dengan teks yang termuat dalam ulasan produk. Studi ini mencoba membangun model ABSA berbasis BERT/DistilBERT dan model deep learning, seperti CNN dan LSTM dan mengintegrasikannya ke dalam aplikasi web yang memungkinkan pengguna melakukan ABSA untuk produk di Amazon. Selain itu, studi ini juga mencoba melakukan perbandingan dengan tujuan mencari model dengan performa terbaik secara hasil dan kompleksitas waktu.

Setelah tahapan evaluasi, model DistilBERT dan BERT menghasilkan hasil yang sama untuk Aspect Term Extraction (ATE) dengan DistilBERT, seperti yang diharapkan, lebih cepat dalam hal komputasi. Untuk Sentiment Polarity Classification (SPC), model Single-Convolution Hybrid merupakan model yang memiliki kinerja yang terbaik untuk penggunaan word embedding dari BERT, dengan F1-score 0,92. Model CNN Single-Convolutional merupakan model yang terbaik jika digabungkan dengan penggunaan word embedding dari DistilBERT, dengan F1-score 0,858. Model BiLSTM, di sisi lain, berkinerja paling buruk, dengan F1-score masing-masing 0,716 dan 0,759, untuk penggunaan BERT dan DistilBERT. Meskipun menghasilkan F1-score tertinggi, model hybrid terbukti jauh lebih menuntut. Hal tersebut tercermin dari perbedaan waktu komputasi antara model hybrid dengen model non-hybrid. Ketika mempertimbangkan waktu komputasi dan hasil, model Single-Convolution CNN adalah opsi yang paling cocok karena model ini dapat menyeimbangkan kedua aspek tersebut. Namun, peningkatan lebih lanjut, terutama dalam waktu komputasi, jelas dapat dilakukan dengan melibatkan lebih banyak teknik NLP untuk lebih mengurangi dimensi dari data.

On a popular e-commerce platform like Amazon, a product may have thousands of product reviews for a single product causing a significant amount of time to process each review and finally decide whether to buy or not. Aspect-Based Sentiment Analysis (ABSA) provides a shortcut to this by extracting the aspect term(s) and their corresponding sentiment on a text. This project tries to build an ABSA model using BERT/DistilBERT and deep learning algorithms, such as CNN and LSTM, and integrate them into a web application that allows users to perform ABSA for Amazon products. On top of that, this project also tries to conduct a comparison with the aim to search for best-performed model in terms of performance and time complexity.

Upon evaluation, DistilBERT and BERT models perform similarly for Aspect Term Extraction (ATE) task with DistilBERT-as expected-being faster at computation time. Regarding the Sentiment Polarity Classification (SPC) tasks, the Single-Convolution Hybrid model performs best when using the BERT word embedding, with an F1 score of 0.92, while the Single-Convolutional CNN model performs best when using the DistilBERT word embedding, with an F1-score of 0.858. The BiLSTM model, on the other hand, performs the poorest, with F1-score of 0.716 and 0.759, for BERT and DistilBERT respectively. Even though it produced the highest F1-Score, hybrid models proved to be a lot more demanding as reflected by the difference in computation time compared to the non-hybrid models. When time and performance are considered, Single-Convolution CNN model is the most suitable option since it could balance both aspects. However, further improvement, especially in computation time, is obviously possible if the model could involve more NLP techniques to further reduce the dimension of the data.

Kata Kunci : Aspect-based sentiment analysis, Amazon product reviews, BERT, DistilBERT, CNN, LSTM