Integrasi Query Expansion Ranking dan Algoritme Metaheuristik untuk Meningkatkan Performa Klasifikasi Sentimen pada Twitter (Studi Kasus: Omnibus Law)

PULUNG HENDRO P, Dr.Eng. Igi Ardiyanto, S.T., M.Eng.; Dr. Ir. Risanuri Hidayat, M.Sc., IPM.

2021 | Tesis | MAGISTER TEKNOLOGI INFORMASI

Keputusan pemerintah untuk mengesahkan omnibus law banyak dibahas di Twitter saat ini. Kebijakan tersebut menimbulkan pro dan kontra di tengah masyarakat. Opini publik yang ada di Twitter dapat digunakan sebagai sebuah sistem pendukung keputusan untuk membuat kebijakan yang tepat dalam mengevaluasi kinerja pemerintah. Metode analisis atau klasifikasi sentimen merupakan metode yang sangat cepat dalam melihat opini publik. Klasifikasi sentimen berbasis machine learning merupakan metode yang memiliki performa terbaik tetapi memiliki masalah fitur noise dan dimensi fitur yang tinggi. Hal tersebut sangat mempengaruhi kinerja klasifikasi sentimen sehingga dibutuhkan seleksi fitur. Oleh karena itu, penelitian ini bertujuan untuk mengembangkan metode seleksi fitur dengan mengintegrasikan Query Expansion Ranking (QER) dan algoritme metaheuristik (GA dan PSO). QER merupakan metode seleksi fitur berbasis filter yang memiliki biaya komputasi yang rendah sedangkan algoritme metaheuristik merupakan metode berbasis wrapper yang memiliki performa lebih baik dari metode berbasis filter tetapi memiliki waktu komputasi yang tinggi. Sehingga, gabungan keduanya bertujuan untuk mengatasi kekurangan dari metode wrapper dengan mengambil keuntungan dari metode filter. Optimized-SVM dan MNB digunakan sebagai classifier. Berdasarkan hasil eksperimen, integrasi QER dan algoritme metaheuristik, baik QER+GA maupun QER+PSO, mampu meningkatkan performa klasifikasi sentimen secara signifikan menggunakan Optimized-SVM dan dapat menurunkan waktu komputasi. Integrasi QER dan GA memiliki performa terbaik dan mampu mengalahkan state-of-the-art seleksi fitur yang diuji dengan mendapatkan nilai precision 0,9678, recall 0,9676, f- measure 0,9675, dan AUC 0,9866. Metode seleksi fitur yang dikembangkan juga mampu mengungguli semua seleksi fitur pada keempat dataset tambahan menggunakan Optimized-SVM. Hal ini membuktikan bahwa metode yang diusulkan memiliki performa yang sangat baik.

The issue of government policy in passing the omnibus law was once trending on Twitter. The policy evoked pros and cons in the community. Public opinions on Twitter can be used as a decision support system in making appropriate policies to evaluate government performance. The sentiment classification method is fast in analyzing public opinion. Machine Learning-based sentiment classification is the method that has the best performance. However, the method has several problems, such as noisy features and high dimensionality of features, which significantly affect the performance of the sentiment classification. Thus, it requires feature selection. Therefore, to overcome the problems, this study presents a novel feature selection method using an integration of Query Expansion Ranking (QER) and metaheuristic algorithms (GA and PSO). QER is a filter-based feature selection method that has low-computational time, while metaheuristic algorithm is a wrapper-based feature selection method that has better performance than filter-based methods but has high- computational time. Thus, the combination of them aims to overcome the wrapper method's drawbacks by taking advantage of the filter method. In this study, Optimized-SVM and MNB are employed as classifiers. Based on the experimental results, the integration of QER and metaheuristic algorithm, both QER+GA and QER+PSO can significantly improve sentiment classification performance using Optimized-SVM and decrease computational time. The integration of QER and GA achieved the best performance in average precision, recall, f-measure, and AUC with the value of 0.9678, 0.9676, 0.9675, and 0.9866, respectively. The proposed method also outperformed all feature selections on the four additional datasets using Optimized-SVM. It proves that the proposed method has robust performances.

Kata Kunci : Seleksi Fitur, Query Expansion Ranking, Algoritme Metaheuristik, Klasifikasi Sentimen, Machine Learning