Analisis Pengalaman Pengguna dan Pergerakan Mata serta Klasifikasi Pergerakan Mata Pengguna dengan Machine Learning pada Game dengan Kontrol Permainan Menggunakan Pergerakan Mata

RAHMIYATUL HASANAH. YE, Dr. Eng. Ir. Sunu Wibirama, S.T., M.Eng., IPM.; Dr. Dyonisius Dony Ariananda, S.T., M.Sc.

2025 | Skripsi | TEKNOLOGI INFORMASI

Sebelumnya, sejumlah penelitian telah menemukan bahwa setiap kelompok pengguna memiliki karakteristik pergerakan tubuh yang berbeda. Meskipun demikian, penelitian-penelitian tersebut belum mendalami pengalaman yang dialami pengguna saat menggunakan dan setelah menggunakan eye tracker sebagai kontrol game dan model klasifikasi pengguna eye tracker dalam bermain game. Penelitian ini bertujuan untuk menganalisis pengalaman pengguna dalam permainan 3D yang dikendalikan dengan pergerakan mata, serta membangun model machine learning untuk mengklasifikasikan pergerakan mata pengguna berdasarkan jam bermain dalam satu minggu. Data pengalaman pengguna maupun pergerakan mata pengguna dikumpulkan dengan menggunakan perangkat Tobii ET5 dari 36 partisipan. Masing-masing diminta untuk bermain dua sesi permainan. Pengalaman pengguna diukur dengan menggunakan instrumen Game Experience Questionnaire (GEQ) oleh Ijsselsteijn, sedangkan data pergerakan mata diproses menjadi fitur-fitur seperti durasi fixation, jarak fixation, kecepatan saccades, kecepatan antartitik, percepatan antartitik, dan jarak antartitik. Model klasifikasi yang digunakan antara lain Naïve Bayes, K-Nearest Neighbor, Logistic Regression, Decision Tree, Random Forest, dan Gradient Boosting. Hasil yang didapat untuk pengukuran pengalaman pengguna menunjukkan bahwa dua kelompok pengguna mengalami pengalaman yang positif pada saat bermain dan setelah bermain game dengan kontrol menggunakan pergerakan mata. Meskipun demikian, pemain yang lebih sering bermain game cenderung merasa lebih tertantang dalam penggunaan alat ini sebagai kontrol permainan. Hasil klasifikasi machine learning menunjukkan bahwa model Gradient Boosting menghasilkan akurasi tertinggi sebesar 91,6?n uji statistik Friedman menunjukkan adanya perbedaan signifikan antarmodel. Temuan ini menunjukkan bahwa pergerakan mata tiap kelompok responden dapat diklasifikasikan dengan menggunakan machine learning dan bahwa pengalaman bermain menggunakan kontrol pandangan mata cenderung menghasilkan pengalaman positif.

Previous studies have shown that different user groups demonstrate distinct movement characteristics. However, these studies have not thoroughly explored user experiences when using eye trackers as a control mechanism in digital games or developed classification models based on eye movement data in gaming contexts. This research aims to analyze user experience in 3D games controlled by eye movement and to develop machine learning models that classify  user's eye movement based on their weekly gameplay frequency. Eye movement and user experience data were collected from 36 participants using a Tobii ET5 eye tracker. Each participant played two game sessions. User experience was measured using the Game Experience Questionnaire (GEQ) by Ijsselsteijn, while eye movement features such as fixation duration, fixation distance, saccade velocity, point-to-point velocity, acceleration, and distance were extracted. Classification models including Naïve Bayes, K-Nearest Neighbor, Logistic Regression, Decision Tree, Random Forest, and Gradient Boosting were applied. The results show that both user groups reported a positive experience when playing the game using gaze-based control, although frequent gamers tended to feel more challenged. Among the models, Gradient Boosting achieved the highest accuracy at 91.6%, with Friedman tests confirming significant differences between models. These findings suggest that user’s eye movement patterns can be effectively classified using machine learning and that gaze-based control offers a generally positive gameplay experience.

Kata Kunci : Interaksi Manusia-Komputer, eye tracking, machine learning, pengalaman pengguna dalam permainan, game user experience