Analisis Pengaruh Fungsi Aktivasi Pada Graph Neural Network (GNN)

Hartanto Setiawan, Prof. Dr.-Ing. Mhd. Reza M. I. Pulungan, S.Si., M.Sc

2025 | Tesis | S2 Ilmu Komputer

Graph Neural Network (GNN) adalah jenis neural network yang dirancang untuk beroperasi pada data terstruktur graf. Setiap node dalam graf terhubung dengan vektor fitur yang digunakan untuk mempelajari representasi graf tersebut. Fungsi aktivasi dalam GNN menerapkan fungsi nonlinier pada fitur node di setiap layer jaringan. Penelitian sebelumnya menunjukkan bahwa fungsi aktivasi memiliki peran penting dalam model Convolutional Neural Network (CNN). Meskipun model representasi seperti GNN umumnya menggunakan fungsi aktivasi ReLU, penelitian mengenai berbagai macam fungsi aktivasi seperti MISH, SWISH, dan lainnya masih terbatas. Hasil penelitian ini menunjukkan bahwa fungsi aktivasi ELU efektif dalam mempertahankan akurasi tinggi, terutama saat diterapkan pada model GCN dan GAT. Selain itu, Leaky ReLU dan Swish dapat meningkatkan efisiensi waktu tanpa mengorbankan akurasi secara signifikan. Swish memberikan keseimbangan yang baik antara akurasi dan efisiensi waktu pada dataset tertentu, sedangkan Leaky ReLU unggul pada dataset besar seperti Reddit. Temuan ini menekankan pentingnya pemilihan fungsi aktivasi yang disesuaikan dengan karakteristik dataset untuk mencapai keseimbangan optimal antara akurasi dan efisiensi waktu.

Graph Neural Network (GNN) are a type of neural network specifically designed to operate on graph-structured data. Each node in the graph is associated with a feature vector that facilitates the learning of graph representations. Activation functions in GNN employ nonlinear functions applied to node features at each layer of the network. Previous research has demonstrated that activation functions play a crucial role in Convolutional Neural Network (CNN). While ReLU is commonly used in GNN, there is limited research on the use of various activation functions such as MISH, SWISH, and others. This study finds that the Exponential Linear Unit (ELU) is effective in maintaining high accuracy, particularly in models like Graph Convolutional Networks (GCN) and Graph Attention Networks (GAT). Both Leaky ReLU and Swish enhance time efficiency without significantly compromising accuracy. Swish achieves a good balance between accuracy and efficiency on specific datasets, while Leaky ReLU excels on larger datasets such as Reddit. These findings emphasize the importance of selecting activation functions based on the characteristics of the dataset to achieve an optimal balance between accuracy and efficiency.

Kata Kunci : Fungsi aktivasi, Graph Neural Network (GNN), Kinerja Neural Network.