ANALISIS USABILITY DAN USER EXPERIENCE PADA APLIKASI MOBILE MENGGUNAKAN PENDEKATAN TEXT MINING

Novian Tiandini, Dr. Bimo Sunarfri Hantono, S.T., M.Eng. ; Dr.Eng. Ir. Sunu Wibirama, S.T., M.Eng., IPM.

2024 | Tesis | S2 Teknologi Informasi

Penggunaan perangkat seluler yang tinggi telah menciptakan persaingan di antara penyedia layanan aplikasi untuk meningkatkan fitur pada aplikasi, salah satu caranya dengan melakukan analisis usability dan user experience (UUX). Banyak penelitian sebelumnya yang  menggunakan metode tradisional seperti kuesioner, wawancara, serta text mining yang dilengkapi dengan kerangka teori sebagai landasan analisisi UUX. Namun, proses mapping ke dalam kerangka teori masih dilakukan secara manual, sehingga hasil analisis lebih subjektif dan membutuhkan waktu yang lebih lama.

Untuk mengatasi hal ini, penelitian ini mengusulkan alternatif pendekatan dengan melakukan mapping otomatis untuk menganalisis UUX dengan memanfaatkan kerangka teori menggunakan text mining. Penelitian ini menggunakan model embedding RoBERTa dan model kesamaan yaitu cosine similarity untuk memetakan ulasan pengguna ke dalam kerangka teori PACMAD untuk analisis usability dan kerangka teori Honeycomb untuk analisis user experience. Selain itu, peneliti juga melakukan analisis sentimen dan pemodelan topik untuk mendapatkan pemahaman yang lebih dalam. Objek yang digunakan pada penelitian ini adalah Shopee Singapura karena Shopee merupakan e-commerce yang paling mendominasi dan Singapura adalah negara pengguna bahasa Inggris terbesar di Asia Tenggara.

Hasil menunjukkan bahwa pendekatan ini dapat digunakan sebagai alternatif analsisi UUX dengan nilai koefisien Jaccard sebesar 0,71 untuk kerangka teori PACMAD dan 0,60 untuk kerangka teori Honeycomb. Penelitian ini diharapkan dapat diimplementasikan sebagai alternatif analisis UUX menggunakan text mining untuk membantu pengembang, perancang, dan peneliti dalam mengungkap permasalahan pengguna serta membantu dalam memenuhi kepuasan pengguna.

The high use of mobile devices has created competition among application service providers to improve application features, including usability and user experience (UUX) evaluation. Many previous studies used traditional methods such as questionnaires and interviews, as well as text mining analysis to analyze application UUX. However, the process of manually mapping text mining results into a theoretical framework tends to be more subjective and time consuming.

To overcome this, this research proposes an alternative approach with automatic mapping to analyze UUX from text mining data by utilizing a theoretical framework. This research uses embedding models such as RoBERTa and similarity techniques such as cosine similarity to map user reviews into the PACMAD theoretical framework for usability analysis and the Honeycomb theoretical framework for user experience analysis. Apart from that, this research also carried out sentiment analysis and topic modeling to gain a deeper understanding. The object used in this research is Shopee Singapore because Shopee is the most dominant e-commerce and Singapore is the largest English-speaking country in Southeast Asia.

The results show that this approach is effective with a Jaccard coefficient value of 0.71 for the PACMAD theoretical framework and 0.60 for the Honeycomb theoretical framework. It is hoped that this research can be implemented as an alternative to UUX analysis using text mining to help developers, designers, and researchers in uncovering user problems and helping to meet user satisfaction.

Kata Kunci : Usability, User experience, PACMAD, Honeycomb, text mining, e-commerce, pemodelan topik, analisis sentimen, model similarity, model embedding