Adaptive Control of Synchronous Generator with Transient Model Using Reinforcement Learning

MUHAMMAD NURHAFIZ SIDIQ, Husni Rois Ali, S.T., M.Eng., Ph.D., DIC., SMIEEE;Ahmad Ataka Awwalur Rizqi, S.T., Ph.D.

2024 | Skripsi | TEKNIK ELEKTRO

Stabilitas suatu sistem tenaga listrik sangat bergantung pada kinerja generatornya, yang berfungsi sebagai sumber energi utama. Oleh karena itu, pengendalian yang efektif dari generator sinkron sangat penting dalam menjaga stabilitas sistem. Studi ini berfokus pada analisis dinamika kontrol dari sistem Single Machine Infinite Bus (SMIB), di mana satu generator terhubung ke jaringan distribusi besar, dan tegangan serta frekuensi eksternal grid diasumsikan konstan. Dalam penelitian ini, keluaran pengendali digunakan untuk menyesuaikan gain dari Power System Stabilizer (PSS) sebagai respons terhadap gangguan, sehingga memastikan kontrol yang kuat terhadap berbagai gangguan. Penelitian sebelumnya telah menggunakan algoritma Reinforcement Learning (RL) seperti Deep Q-Network (DQN) untuk tindakan diskret dan Deep Deterministic Policy Gradient (DDPG) untuk tindakan kontinu. Meskipun memiliki keuntungan yang memungkinkan sinyal kontrol kontinu, DDPG menunjukkan sensitivitas terhadap tindakan, yang berpotensi menyebabkan kebijakan yang tidak stabil dan estimasi yang tidak dapat diandalkan, yang dapat menghambat konvergensi. Oleh karena itu, untuk mengurangi kekurangan ini, algoritma Twin Delayed Deep Deterministic Policy Gradient (TD3) digunakan dalam studi ini. Penelitian ini bertujuan untuk merancang pengendali berbasis pembelajaran untuk meningkatkan stabilitas sistem SMIB. Selanjutnya, kinerja pengendali akan dievaluasi di bawah gangguan kecil dan besar, membandingkannya dengan Conventional Power System Stabilizer (CPSS) untuk menilai efektivitasnya dalam meningkatkan stabilitas sistem SMIB saat menghadapi gangguan. Temuan dari penelitian ini menunjukkan bahwa PSS berbasis RL dapat secara signifikan meningkatkan stabilitas sistem terhadap berbagai gangguan.

The stability of a power system heavily relies on the performance of its generators, which serve as the primary energy sources. Thus, effective control of synchronous generators is crucial in maintaining system stability. This study focuses on analyzing the control dynamics of a Single Machine Infinite Bus (SMIB) system, where a single generator is connected to a large distribution network, and the grid’s external voltage and frequency are assumed to be constant. In this research, the controller’s output is utilized to adjust the gain of the Power System Stabilizer (PSS) in response to disturbances, thereby ensuring robust control against various disruptions. Past studies have utilized Reinforcement Learning (RL) algorithms like Deep Q-Network (DQN) for discrete actions and Deep Deterministic Policy Gradient (DDPG) for continuous actions. Although coming with its advantages that allow for continuous control signals, DDPG exhibits sensitivity to actions, potentially leading to unstable policies and unreliable estimates, which could hinder convergence. Therefore, to mitigate these drawbacks, the Twin Delayed Deep Deterministic Policy Gradient (TD3) algorithm is used in this study. This study aims to design a learning-based controller for enhancing the stability of SMIB system. Subsequently, the controller’s performance will be evaluated under both small and large disturbances, comparing it with Conventional Power System Stabilizer (CPSS) to assess its effectiveness in improving the stability of the SMIB system when facing disturbances. The findings of this research demonstrate that RL-based PSS can significantly enhance system stability against various disturbances.

Kata Kunci : Single Machine Infinite Bus (SMIB), Power System Stability , Reinforcement Learning (RL) , Power System Stabilizer (PSS) , Twin Delayed Deep Deterministic Policy Gradient (TD3)