Enhancing 2D Game Map Testing: An Automated Approach Using Reinforcement Learning

AMIRA SHANIA NITISARA, Faizah, S.Kom., M.Kom.

2024 | Skripsi | ILMU KOMPUTER

Pengujian video game sangat penting untuk menjaga imersi pemain dan kualitas produk. Pengujian lingkungan dan peta menjadi tantangan tersendiri bagi perusahaan dengan sumber daya yang terbatas, karena pengujian manual untuk berbagai variasi peta menjadi mahal dan memakan waktu, dengan pengujian perangkat lunak yang umumnya menghabiskan 15-25?ri anggaran proyek dan waktu berminggu-minggu untuk dieksekusi. 

Makalah ini mengusulkan solusi pengujian peta otomatis menggunakan lingkungan Reinforcement Learning (RL) yang disesuaikan dan agen yang dilatih dengan algoritma Soft Actor-Critic (SAC). Solusi ini mengimplementasikan kerangka kerja Gymnasium OpenAI untuk menciptakan lingkungan di mana agen RL secara sistematis menjelajahi peta game 2D untuk mengidentifikasi potensi eksploitasi. Pendekatan ini memanfaatkan kapasitas RL untuk eksplorasi berkelanjutan dan pengambilan keputusan yang adaptif.

Hasil penelitian menunjukkan agen RL yang terlatih mencapai cakupan area unik 50% lebih tinggi dibandingkan dengan agen acak. Selain itu, agen RL berhasil menemukan ketiga sampel eksploitasi di peta pengujian, sementara agen acak hanya mengidentifikasi satu eksploitasi. Umpan balik pelatihan menunjukkan kinerja agen yang stabil melalui reward yang semakin tinggi dan penurunan actor loss dan critic loss.

Video game testing is crucial for maintaining player immersion and product quality. Environment and map testing poses a particular challenge for studios with limited resources, as manual testing of numerous map variations becomes expensive and time-intensive, with software testing generally consuming 15-25% of typical project budgets and weeks to execute. 

This paper proposes an automated map testing solution using a customized Reinforcement Learning (RL) environment and agent trained with the Soft Actor-Critic (SAC) algorithm. The solution implements OpenAI's Gymnasium framework to create an environment where the RL agent systematically explores 2D game maps to identify potential exploits. This approach leverages RL's capacity for continuous exploration and adaptive decision-making.

The results showed the trained RL agent achieving 50% higher unique tile coverage compared to a random agent. Furthermore, the RL agent successfully discovered all three sample exploits in the test maps, while the random agent only identified one exploit. Training feedback showed stable agent performance through increasingly high rewards and a decrease in both actor loss and critic loss.

Kata Kunci : reinforcement learning, automation, game testing, game development, intelligent agent, soft actor-critic