Laporkan Masalah

Aspect Based Sentiment Analysis pada Data Twitter Kementerian Luar Negeri menggunakan Bidirectional Encoder Representations From Transformer (BERT)

PRASETYO A. WIDODO, Widyawan, S.T., M.Sc., Ph.D; Sri Suning Kusumawardani, Dr., S.T., M.T.

2023 | Tesis | MAGISTER TEKNOLOGI INFORMASI

Twitter merupakan media sosial yang sering digunakan oleh masyarakat untuk menyampaikan opini atau pendapat, hal ini juga yang menjadi dasar kebijakan Kementerian Luar Negeri (Kemlu) untuk menyebarluaskan informasi melalui Twitter. Dalam rangka membangun komunikasi publik melalui media sosial yang baik, tentu perlu dilakukan pengukuran terhadap issue atau event yang dipopulerkan di media sosial khususnya terkait beberapa aspek yang digunakan Kemlu dalam menarasikan program kerjanya. Empat aspek utama yang sering digunakan adalah diplomasi kedaulatan atau perbatasan, diplomasi ekonomi, pelindungan WNI dan BHI serta seputar kiprah dan peran Indonesia dalam forum internasional. Aspect Based Sentiment Analysis (ABSA) merupakan level yang lebih detail dari sentiment analysis yang mencoba menemukan sentiment dari berbagai aspek pada sebuah entitas dalam data tekstual. ABSA menggunakan pendekatan transfer learning atau fine-tuning dapat digunakan dalam memprediksi aspek serta sentiment yang mengikutinya. Dalam penelitian ini digunakan pre-trained model IndoBERTBASE sebagai model representasi bahasa tujuan umum yang kemudian dilakukan fine-tuning dengan data Twitter terkait Kemlu. Hasil percobaan didapatkan nilai akurasi pada IndoBERTBASE adalah 0,84 dan F1-Score sebesar 0,64 pada saat training dan mengungguli dua pre-trained lain yaitu IndoBERT-liteBASE serta Multilingual BERT yang sudah sering digunakan dalam penyelesaian pada permasalahan yang mirip. Fine tuned model terbaik kemudian diuji coba menggunakan data testing dan didapatkan rata-rata nilai akurasi sebesar 0,86 terhadap keseluruhan aspek, dimana aspek diplomasi kedaulatan mendapatkan prediksi sentiment positif dengan jumlah terbanyak. Hasil dari penelitian ini dapat menjadi salah satu insight guna membantu para pengambil keputusan untuk membuat rangkaian kebijakan atau narasi di media sosial agar mendapatkan opini dan sentiment yang ingin diharapkan.

Twitter is a social media that is often used by the public to convey opinions, this is also the basic consideration for the Ministry of Foreign Affairs (MFA) policy to disseminate information via Twitter. In order to build good public communication through social media, it is necessary to measure issues or events that are popularized on social media, especially regarding several aspects used by the MFA in narrating its work programs. The four main aspects that are often used are sovereignty or border diplomacy, economic diplomacy, protection of Indonesian citizens and BHI and about Indonesia's progress and role in international forums. Aspect Based Sentiment Analysis (ABSA) is a fine grained level of sentiment analysis that tries to find sentiment from various aspects of an entity in textual data. ABSA using a transfer learning or fine-tuning approaches can be used to predict the aspects and sentiments that follow. In this research, the IndoBERTBASE pre-trained model was used as a general-purpose language representation model which was then fine-tuned with Twitter data related to the MFA. The experimental results showed that the accuracy value and F1-Score for IndoBERTBASE were 0,84 and 0,64 during training and outperformed the other two pre-trained, namely IndoBERT-liteBASE and Multilingual BERT which have often been used in solving similar problems. The best fine tuned model then tested on data testing and obtained an average accuracy value of 0,86 for all aspects where aspects of sovereign diplomacy get the highest number of positive sentiment predictions. The results of the research can be one of the insights to help decision makers to create a series of policies or narratives on social media in order to get the opinions and sentiments want to expect.

Kata Kunci : sentiment analysis, aspect based sentiment analysis, transfer learning, IndoBERT

  1. S2-2023-449813-abstract.pdf  
  2. S2-2023-449813-bibliography.pdf  
  3. S2-2023-449813-tableofcontent.pdf  
  4. S2-2023-449813-title.pdf