Analisis Pengaruh Amplitudo pada Fungsi Aktivasi Berbentuk S terhadap Neural Network untuk Klasifikasi

Anastasia Nathania Putri, Faizal Makhrus, S.Kom., M.Sc., Ph.D.

2026 | Tesis | S2 Ilmu Komputer

Fungsi aktivasi memiliki peran penting dalam algoritma feedforward neural network (FNN). Modifikasi terhadap berbagai jenis fungsi aktivasi telah diusulkan untuk meningkatkan performa FNN, termasuk penambahan hiperparameter amplitudo pada fungsi aktivasi berbentuk S. Hiperparameter tersebut mampu meningkatkan performa FNN untuk regresi yang melibatkan fungsi loss berupa root mean squared error (RMSE), tetapi belum diketahui pengaruhnya ketika menerapkan binary cross entropy (BCE) untuk masalah klasifikasi.

Penelitian ini menganalisis pengaruh hiperparameter amplitudo pada fungsi aktivasi sigmoid, arctan, tanh, dan softsign terhadap performa klasifikasi dengan FNN secara teoretis dan eksperimental. Analisis teoretis melibatkan derivasi BCE terhadap bobot untuk menentukan formula nilai loss optimal dan mengamati hubungannya dengan amplitudo. Selain itu, dilakukan eksperimen dengan model kombinasi linear dan FNN dengan 5 hidden layer pada beberapa dataset klasifikasi biner dan multiklas, yaitu raisin, personality, iris, dan wheat seed.

Analisis teoretis menunjukkan bahwa amplitudo mampu memperkecil nilai loss optimal pada fungsi aktivasi arctan dan softsign, tetapi tidak pada sigmoid dan tanh. Implementasi dengan model kombinasi linear menghasilkan interpretasi yang berbeda, bahwa pengaruh amplitudo terhadap peningkatan performa terjadi pada keempat jenis fungsi aktivasi yang dianalisis, dengan selisih loss mencapai 6×10^(?2) dan akurasi 0,41?2,38% secara 1,6?11,6 kali lebih cepat. Di sisi lain, amplitudo besar pada model FNN meningkatkan performa klasifikasi dengan fungsi aktivasi arctan dan softsign, dengan nilai loss sebesar 10^(?2) lebih rendah dan akurasi 0,27% lebih tinggi dibandingkan dengan model standar yang menggunakan amplitudo bernilai 1. Lebih lanjut, model yang diusulkan mampu bersaing dengan model lainnya, bahkan dapat mencapai akurasi hingga 24,3% lebih unggul.

Activation functions (AFs) have an important role to the feedforward neural network (FNN) algorithm. Its modifications have been proposed to obtain higher performances, including the addition of amplitude hyperparameter to several S-shaped AFs. Amplitude was shown to be improving FNN performance for regression task, using a root mean squared error (RMSE) as the loss function. However, the influence to the FNN classification involving the binary cross entropy (BCE) has not been discovered.

This study analyzes the effects of amplitude on sigmoid, arctan, tanh, and softsign AFs to the FNN classification performance. Theoretical analysis involves the derivative of BCE with respect to the weight to find the formula of minimum loss value, thus the relation with amplitude can clearly be seen. In addition, experiments are conducted utilizing the linear combination and FNN with 5 hidden layers on the binary and multiclass datasets, namely raisin, personality, iris, and wheat seed.

Through the theoretical analysis, higher amplitudes provide better performance with arctan and softsign AFs, but not with sigmoid and tanh. Experiments on linear combination model consistently obtain higher performances on greater amplitude for all AFs, reaching a loss difference of 6×10^(?2) and accuracy 0.41?2.38% in 1.6?11.6 times faster convergence. However, in the FNN model, greater amplitudes exclusively influence higher performance on arctan and softsign AFs, resulting classifications with a 10^(?2) smaller loss and 0.27% higher accuracy compared to the standard model with an amplitude of 1. Furthermore, the proposed model is comparable to the other models, can even achieve 24.3% higher accuracy.

Kata Kunci : Fungsi Aktivasi Berbentuk S, Amplitudo, Klasifikasi FNN, Cross Entropy Loss Function