Evaluating Vanilla, Double, And Dueling Deep Q-Networks In Sparse-Reward Environments: A Tetris Case Study

Raffie Akeyla Hafizh, Aina Musdholifah, S.Kom., M.Kom. Ph.D

2026 | Skripsi | ILMU KOMPUTER

Penelitian ini menyelidiki dampak peningkatan arsitektur dalam Deep Reinforcement Learning (DRL) untuk menguasai permainan Tetris. Tetris menghadirkan lingkungan yang sangat sulit bagi Deep Q-Networks (DQN) standar karena imbalan yang jarang, ruang keadaan berdimensi tinggi, dan kecenderungan algoritmik untuk melebih-lebihkan nilai. Untuk mengisolasi dan menganalisis tantangan ini, studi ini melakukan analisis komparatif yang mengevaluasi DQN Vanilla sebagai dasar terhadap dua arsitektur canggih: Double DQN (DDQN) dan Dueling DQN. Untuk memastikan semua model dapat belajar secara efektif, peningkatan mendasar diterapkan di semua agen, termasuk Prioritized Experience Replay (PER), pembentukan imbalan khusus, dan teknik pengurangan dimensi yang mengubah data visual mentah menjadi vektor heuristik empat fitur. Agen dilatih selama lebih dari 5.000 episode untuk mengamati pembentukan dan stabilitas strategi. Hasil empiris menunjukkan bahwa DQN Vanilla mengalami kegagalan kebijakan yang parah karena bias estimasi yang berlebihan. Sebaliknya, Dueling DQN secara eksplisit memodelkan nilai keadaan, menghasilkan penghindaran risiko yang ekstrem dan strategi yang sangat stabil, tetapi berskor rendah (~7 baris berhasil diselesaikan). Pada akhirnya, arsitektur Double DQN terbukti paling efektif untuk lingkungan Tetris; dengan memisahkan pemilihan dan evaluasi aksi, arsitektur ini mengurangi bias estimasi berlebihan sambil berhasil mengeksekusi strategi penumpukan agresif dan berisiko tinggi yang diperlukan untuk mencapai skor tinggi yang berkelanjutan (~30 baris berhasil diselesaikan).

This research investigated the impact of architectural enhancements in Deep Reinforcement Learning (DRL) for mastering the game of Tetris. Tetris presents a notoriously difficult environment for standard Deep Q-Networks (DQN) due to sparse rewards, a high-dimensional state space, and the algorithmic tendency for value overestimation. To isolate and analyze these challenges, this study conducted a comparative analysis evaluating a baseline Vanilla DQN against two advanced architectures: Double DQN (DDQN) and Dueling DQN. To ensure all models could effectively learn, foundational improvements were applied across all agents, including Prioritized Experience Replay (PER), custom reward shaping, and a dimensionality reduction technique that converted raw visual data into a four-feature heuristic vector. The agents were trained over 5,000 episodes to observe strategy formation and stability. The empirical results demonstrated that the Vanilla DQN suffered from catastrophic policy collapse due to severe overestimation bias. Conversely, the Dueling DQN explicitly modeled state value, resulting in extreme risk-aversion and a highly stable, but low-scoring strategy (~7 lines cleared). Ultimately, the Double DQN architecture proved most effective for the Tetris environment; by decoupling action selection and evaluation, it mitigated overestimation bias while successfully executing the aggressive, high-risk stacking strategies required to achieve sustained high scores (~30 lines cleared).

Kata Kunci : Deep Q-Network, Deep Reinforcement Learning, Double DQN, Dueling DQN, Game AI, Prioritized Experience Replay, Tetris.