Peningkatan mekanisme atensi dan perluasan dimensi tokenisasi model berbasis transformer untuk peramalan cuaca

Lukman Hakim, Dr. Agus Sihabuddin, S.Si., M.Kom.

2025 | Tesis | S2 Ilmu Komputer

Forecasting merupakan salah satu aplikasi deep learning yang umum, dan Transformer dianggap metode potensial karena kemampuannya mempelajari aspek ruang dan waktu dalam data. Berbeda dengan RNN yang memproses input secara sekuensial, Transformer membaca input secara paralel, memungkinkan analisis deret waktu lebih panjang dan penerimaan input berdimensi lebih tinggi. Namun, penelitian Transformer masih banyak berfokus pada input berdimensi satu, dua, atau tiga. Studi ini bertujuan memodifikasi Transformer agar dapat menerima input berdimensi empat, sekaligus menangani variabel atmosfer seperti suhu udara, kelembaban, tekanan, kecepatan angin, dan presipitasi. Metode peramalan yang diajukan diuji menggunakan dataset ERA5 ECMWF, yaitu data gridded cuaca berdimensi horizontal, vertikal, dan waktu untuk variabel atmosfer yang disebutkan sebelumnya, dengan rentang waktu Januari hingga Desember 2023.

Model Transformer yang diajukan dalam penelitian ini dibandingkan dengan RNN-3DResNet dan metode prediksi cuaca numerik (NWP) untuk mengevaluasi kinerjanya. Dalam evaluasi tersebut, model Transformer menunjukkan hasil yang superior dibandingkan kedua model lainnya, dengan nilai R² score mencapai 0,92 pada set pelatihan dan 0,87 pada set pengujian. Hasil ini menunjukkan kemampuan model Transformer dalam mempelajari dan merepresentasikan pola kompleks dalam data atmosfer dengan lebih efektif. Kinerja yang lebih baik ini juga mencerminkan keunggulan Transformer dalam menangani input berdimensi tinggi dan memproses data secara paralel, yang memungkinkan analisis yang lebih mendalam terhadap variabel atmosfer yang berbeda. Dengan demikian, temuan ini tidak hanya menegaskan potensi Transformer dalam forecasting cuaca, tetapi juga menunjukkan bahwa pendekatan ini dapat menjadi alternatif yang lebih andal dibandingkan metode tradisional seperti RNN-3DResNet dan NWP.

Forecasting is a common application of deep learning, and the Transformer architecture is considered a promising method due to its ability to learn both spatial and temporal aspects of data. Unlike recurrent neural networks (RNNs), which process input sequentially, the Transformer processes input in parallel, allowing for the analysis of longer time series and higher-dimensional input. However, most research on Transformers still focuses on one-, two-, or three-dimensional inputs. This study aims to modify the Transformer architecture to accommodate four-dimensional inputs while simultaneously handling atmospheric variables such as air temperature, humidity, pressure, wind speed, and precipitation.

The proposed forecasting method is evaluated using the ERA5 ECMWF dataset, which provides gridded weather data with horizontal, vertical, and temporal dimensions for the aforementioned atmospheric variables, covering the period from January to December 2023.

The modified Transformer model is compared to RNN-3DResNet and numerical weather prediction (NWP) methods to evaluate its performance. In this evaluation, the Transformer model demonstrates superior results compared to both alternatives, achieving an R² score of 0.92 on the training set and 0.87 on the testing set. These results indicate the model’s ability to effectively learn and represent complex patterns in atmospheric data. The improved performance also highlights the Transformer’s advantage in handling high-dimensional inputs and parallel data processing, enabling deeper analysis of various atmospheric variables. Thus, the findings not only reaffirm the potential of Transformers in weather forecasting but also suggest that this approach may serve as a more reliable alternative to traditional methods such as RNN-3DResNet and NWP.

Kata Kunci : Peramalan Cuaca, Prediksi Cuaca Numerik, Pembelajaran Mendalam, Transformer