Assessing The Influence of Negation Handling on Sentiment Analysis: A Comparative Analysis Using DANA and Sirekap Google Play Store Reviews

Fany Meidiana Prayoga, Drs. Medi, M.Kom.,

2024 | Skripsi | ILMU KOMPUTER

Penanganan negasi memainkan peran penting dalam kinerja analisis sentimen, khususnya untuk bahasa seperti Indonesia dengan pola negasi yang beragam dan penggunaan bahasa informal. Penanganan negasi melibatkan identifikasi dan pemrosesan yang tepat terhadap kata-kata negasi (misalnya, "tidak" dalam bahasa Indonesia) yang membalikkan sentimen dari kata-kata yang dimodifikasi. Mengatasi negasi secara efektif sangat penting untuk meningkatkan ketepatan analisis sentimen, memastikan bahwa sentimen sebenarnya dari teks tersebut ditangkap secara akurat.

Untuk memahami sejauh mana dampaknya terhadap analisis sentimen, penelitian ini membandingkan dan menganalisis metrik kinerja analisis sentimen yang dilakukan dengan dan tanpa penanganan negasi. Performa model dievaluasi menggunakan empat metrik rata-rata makro: akurasi, presisi, perolehan, dan skor F1. Pendekatan ini memberikan pengukuran kuantitatif mengenai pengaruh penanganan negasi terhadap kinerja analisis sentimen.

Penelitian ini menggunakan dua model analisis sentimen antara lain Support Vector Machine (SVM) dan Naive Bayes (Multinomial dan Bernoulli) pada dua dataset yang berisi review dari aplikasi Sirekap dan DANA (diambil dari Google Play Store). Sedangkan pada penelitian ini dilakukan penanganan negasi dengan menggabungkan kata negasi dengan kata berikutnya dengan menggunakan garis bawah (“_”).

Hasilnya menunjukkan bahwa penanganan negasi secara signifikan meningkatkan kinerja analisis sentimen di kedua kumpulan data. Selain itu, SVM secara konsisten mengungguli Naive Bayes (Multinomial dan Bernoulli) dengan hyperparameter terbaiknya masing-masing. Selain itu, dataset DANA menghasilkan kinerja yang sedikit lebih baik di semua metrik. Akurasi tertinggi yang tercatat (88,4%) dicapai dengan menggunakan model SVM dengan penanganan negasi pada dataset DANA.

Negation handling plays a crucial role in sentiment analysis performance, particularly for languages like Indonesian with diverse negation patterns and informal language use. Negation handling involves identifying and appropriately processing negation words (e.g., "tidak" in Indonesian) that reverse the sentiment of the words they modify. Addressing negation effectively is essential for improving the precision of sentiment analysis, ensuring that the true sentiment of the text is accurately captured.

To understand the extent of its impact on sentiment analysis, this research compares and analyzes the performance metrics of sentiment analysis conducted with and without negation handling. The models' performance is evaluated using four macro-averaged metrics: accuracy, precision, recall, and F1-score. This approach provides a quantitative measurement of the effect of negation handling on sentiment analysis performance.

This research employed two sentiment analysis models, including Support Vector Machine (SVM) and Naive Bayes (Multinomial and Bernoulli) on two datasets containing reviews from the Sirekap and DANA applications (retrieved from the Google Play Store). Meanwhile, this research performed negation handling by combining negation words with the following word using an underscore (“_”).

The results demonstrate that negation handling significantly improves sentiment analysis performance across both datasets. Furthermore, SVM consistently outperformed Naive Bayes (both Multinomial and Bernoulli) with their respective best hyperparameters. Moreover, the DANA dataset yielded slightly better performance across all metrics. The highest recorded accuracy (88.4%) was achieved using the SVM model with negation handling on the DANA dataset.

Kata Kunci : Negation, Sentiment Analysis, SVM, Naive Bayes, DANA, Sirekap