FINE-TUNING FEED-FORWARD NETWORK PADA PATCHTST UNTUK PERAMALAN DERET WAKTU FINANSIAL JANGKA PANJANG

Alif Rafi Tulusena, Faizal Makhrus, S.Kom., M.Sc., Ph.D.

2026 | Skripsi | ILMU KOMPUTER

Penelitian ini menganalisis strategi fine-tuning parsial pada Feed-Forward Network (FFN) dalam arsitektur PatchTST untuk peramalan deret waktu finansial jangka panjang. Masalah utama yang dikaji adalah kebutuhan adaptasi model Transformer deret waktu yang tetap akurat, tetapi tidak selalu menuntut pelatihan seluruh parameter. Data yang digunakan berupa deret kurs valuta asing multikanal terhadap dolar Amerika Serikat pada periode 2000–2019. Data dipisahkan secara kronologis menjadi data latih, validasi, dan uji dengan rasio 70/10/20. Implementasi akhir menggunakan data level harga dengan normalisasi RevIN per-window, panjang lookback 96, horizon prediksi 15, ukuran patch 16, dan stride 8. Model yang dievaluasi meliputi PatchTST Frozen, PatchTST FFN-only, PatchTST Full Fine-Tuning, dan baseline LSTM. Perbandingan utama ditempatkan pada tiga mode PatchTST, sedangkan LSTM digunakan sebagai rujukan kontekstual karena arsitektur ini sudah mapan dalam peramalan finansial. Hasil pengujian menunjukkan bahwa strategi FFN-only memperbaiki kinerja PatchTST Frozen pada seluruh metrik utama. Nilai MAPE data uji turun dari 1,657645% menjadi 1,548161%, MSE turun dari 0,614222 menjadi 0,542733, RMSE turun dari 0,783723 menjadi 0,736704, dan MAE turun dari 0,285465 menjadi 0,264867. Meskipun demikian, Full Fine-Tuning tetap memberikan hasil terbaik dengan MAPE 1,228511%, MSE 0,319112, RMSE 0,564900, dan MAE 0,197972. Sebagai rujukan kontekstual, baseline LSTM terbaik, yaitu LSTM dengan aktivasi tanh dan P = 8, memperoleh MAPE 6,41523%, sehingga berada di Bawah seluruh mode PatchTST pada konfigurasi eksperimen yang digunakan. Dari sisi efisiensi, FFN-only hanya melatih 197.760 dari 822.316 parameter atau 24,0?ri keseluruhan parameter model. Namun, penghematan waktu pelatihan disbanding Full Fine-Tuning hanya sekitar 14,29%, sedangkan waktu inferensi keduanya hampir sama. Temuan ini menunjukkan bahwa FFN-only fine-tuning efektif sebagai strategi adaptasi hemat parameter, tetapi belum menggantikan Full Fine-Tuning ketika target utama adalah akurasi maksimum.

This study analyzes a partial fine-tuning strategy for the Feed-Forward Network (FFN) component in PatchTST for long-term financial time series forecasting. The main problem addressed in this study is how to adapt a time-series Transformer model with competitive accuracy while avoiding full parameter updates whenever possible. The dataset consists of multichannel foreign exchange rates against the United States dollar from 2000 to 2019. The data were split chronologically into training, validation, and test subsets using a 70/10/20 ratio. The final implementation used price-level data with per-window RevIN normalization, a lookback length of 96, a forecasting horizon of 15, a patch size of 16, and a stride of 8. The evaluated models were PatchTST Frozen, PatchTST FFN-only, PatchTST full fine-tuning, and an LSTM baseline. The main comparison focuses on the three PatchTST modes, while LSTM is used as a contextual reference because it is a well-established recurrent model in financial forecasting. The results show that the FFN-only strategy improves PatchTST Frozen across all main metrics. test MAPE decreases from 1.657645% to 1.548161%, MSE from 0.614222 to 0.542733, RMSE from 0.783723 to 0.736704, and MAE from 0.285465 to 0.264867. Nevertheless, full fine-tuning achieves the best overall result, with 1.228511% MAPE, 0.319112 MSE, 0.564900 RMSE, and 0.197972 MAE. As a contextual reference, the best LSTM baseline, namely LSTM with tanh activation and P = 8, produces 6.41523% MAPE and remains below all PatchTST modes in the implemented experimental setting. In terms of efficiency, FFN-only trains only 197,760 of 822,316 parameters, or 24.0% of the full model. However, the reduction in training time compared with full fine-tuning is only about 14.29%, while inference time remains almost identical. These findings indicate that FFN-only fine-tuning is effective as a parameter-efficient adaptation strategy, but it does not replace full fine-tuning when maximum accuracy is the primary objective.

Kata Kunci : Peramalan Deret Waktu Finansial, Transformer, PatchTST, Fine-tuning Parsial, FFN, LSTM.