Analisis Kepuasan Pengguna Spotify Berdasarkan Perilaku Pengguna Menggunakan Machine Learning dan Hyperparameter Tuning

Emil Agusalim Habi Talib, Dr.Eng. Ir. Sunu Wibirama, S.T., M.Eng., IPM.; Prof. Ir. P. Insap Santosa, M.Sc., Ph.D., IPU.

2024 | Tesis | S2 Teknologi Informasi

Kepuasan pengguna merupakan salah satu metode evaluasi yang dapat dilakukan untuk mengetahui kualitas dari sebuah produk, layanan atau jasa yang telah diberikan. Analisis kepuasan pengguna dapat dilakukan dengan berbagai cara seperti melakukan evaluasi pengalaman pengguna atau dengan melakukan analisis perilaku pengguna. Berbagai macam metode yang dapat dilakukan untuk menganalisis kepuasan pengguna baik dengan cara tradisional maupun dengan cara yang modern. Salah satu metode analisis kepuasan pengguna dengan cara yang modern dapat dilakukan dengan melakukan analisis klasifikasi kepuasan pengguna menggunakan metode machine learning. Analisis kepuasan pengguna menggunakan machine learning merupakan salah satu metode analisis yang sangat efektif dan efisien.

Penelitian ini bertujuan untuk meningkatkan performa model machine learning untuk kasus klasifikasi kepuasan pengguna. Performa yang ditingkatkan pada penelitian ini adalah nilai akurasi dan f1 score. Nilai akurasi dan f1 score dapat ditingkatkan dengan cara mencari nilai hyperparameter yang paling optimal dari algoritma machine learning yang digunakan. Proses pencarian nilai hyperparameter yang optimal dapat dilakukan dengan menggunakan metode hyperparameter tuning. Terdapat tiga metode hyperparameter tuning yang digunakan pada penelitian ini yaitu grid search, random search dan bayes search.

Penelitian ini menghasilkan model machine learning terbaik yaitu algoritma gradient boosting dan metode hyperparameter tuning terbaik yaitu grid search dengan nilai akurasi tertinggi yang diperoleh adalah sebesar 85,61?n f1 score sebesar 84,89%. Berdasarkan hasil uji hipotesis menggunakan kruskal-wallis, penggunaan metode hyperparameter tuning dapat meningkatkan nilai akurasi dan f1 score dengan signifikan. Implikasi dari penelitian ini dapat memberikan pemahaman yang lebih mendalam terkait hal-hal apa saja yang perlu dilakukan dalam mengembangkan model klasifikasi kepuasan pengguna. Selain itu penelitian ini juga dapat memberikan pemahaman terkait dengan bagaimana machine learning dapat bekerja pada suatu data serta bagaimana cara mengoptimalkan model klasifikasi.

User satisfaction is one of the evaluation methods that can be carried out to determine the quality of a product or service that has been provided. User satisfaction analysis can be done in various ways, such as evaluating user experience or analyzing user behavior. Various methods can be used to analyze user satisfaction, both using traditional and modern methods. One method of analyzing user satisfaction in a modern way can be done by conducting user satisfaction classification analysis using machine learning methods. User satisfaction analysis using machine learning is a very effective and efficient analysis method.

This research aims to improve the performance of machine learning models for user satisfaction classification cases. The performance that was improved in this research was the accuracy value and f1 score. The accuracy value and f1 score can be increased by finding the most optimal hyperparameter values for the machine learning algorithm used. The process of finding optimal hyperparameter values can be carried out by using the hyperparameter tuning method. There are three hyperparameter tuning methods used in this research, namely grid search, random search, and Bayes search.

This research produces the best machine learning model, namely the gradient boosting algorithm, and the best hyperparameter tuning method, namely grid search with the highest accuracy value obtained, namely 85.61% and an f1 score of 84.89%. Based on the results of hypothesis testing using Kruskal-Wallis, the use of the hyperparameter tuning method can significantly increase the accuracy and F1 score. The implications of this research can provide a deeper understanding of what needs to be done in developing a user satisfaction classification model. Apart from that, this research can also provide an understanding of how machine learning can work on data and how to optimize classification models.

Kata Kunci : Kepuasan Pengguna, Machine Learning, Hyperparameter Tuning, User Satisfaction, Machine Learning, Hyperparameter Tuning