Pelanggan merupakan faktor penting dalam keberlangsungan suatu usaha. PLN sebagai perusahaan BUMN di bidang kelistrikan dengan jumlah pelanggan terbesar dapat mengandalkan umpan balik berupa teks dari pelanggan untuk dievaluasi dan ditindaklanjuti sebagai suatu rekomendasi, sehingga dapat dilakukan pencegahan kedepannya terhadap masalah serupa yang terjadi.
Penelitian ini menganalisis umpan balik keluhan pelanggan dengan menggunakan Aspect-Based Sentiment Analysis (ABSA) melalui weighted cross-entropy loss, stratified random sampling serta penentuan nilai hyperparameter yang tepat menggunakan perhitungan algoritma BERT Transformer. Terdapat 3 jenis BERT yang akan dibandingkan satu dengan lainnya yaitu BERT, DistilBERT dan RoBERTa.
Hasil percobaan pada 19.633 baris data menunjukkan bahwa hasil yang diperoleh model RoBERTa mengungguli dua metode lainnya. Hasil penelitian menyimpulkan bahwa model RoBERTa menunjukkan nilai F1-score rata-rata yang menjanjikan yaitu 0,8889 (88,89%), disusul oleh BERT sebesar 0,8854 (88,54%), dan DistilBERT sebesar 0,8782 (87,82%). Implementasi BERT dalam analisis sentimen berdasarkan aspek keluhan pelayanan di PLN telah menunjukkan kemampuan yang cukup baik. Dan sebagai metode dalam pemanfaatan ekstraksi kata dari data keluhan pelanggan terhadap pelayanan pelanggan PLN kedepannya, yang juga merupakan tantangan bagi pengembangan sistem NLP (Natural Language Processing) yang mendalam.
Customers are an important factor in the sustainability of a business. PLN as a state-owned company in the electricity sector with the largest number of customers can rely on text feedback from customers to be evaluated and followed up as a recommendations, so that future prevention of similar problems can be carried out.
This research analyzes customer complaint feedback using Aspect-Based Sentiment Analysis (ABSA) through Weighted cross-entropy loss, stratified random sampling and determining the right hyperparameter value using the BERT Transformer Algorithm calculation. There are 3 types of BERT that will be compared with each other, namely BERT, DistilBERT and RoBERTa.
Experimental results on 19,633 rows of data show that the results obtained by the RoBERTa model outperform the other two methods. The results concluded that the RoBERTa model showed a promising average F1-score value of 0.8889 (88.89%), followed by BERT of 0.8854 (88.54%), and DistilBERT of 0.8782 (87.82%). The implementation of BERT in sentiment analysis based on aspects of service complaints at PLN has shown a fairly good ability. And as a method of utilizing word extraction from customer complaint data regarding PLN customer service in the future, which is also a challenge for the development of in-depth NLP (Natural Language Processing) systems
Kata Kunci : ABSA, analisis sentimen, PLN, BERT, transformer, pelayanan pelanggan
