Penerapan Siamese BiLSTM dengan Mekanisme Attention dan Fusion Similarity untuk Analisis Kesamaan Semantik Teks

Muhammad Haikal Syafi Alawiy, Prof. Dr. Suprapto, M.I.Kom.

2026 | Skripsi | ILMU KOMPUTER

Analisis kesamaan semantik merupakan tugas penting dalam Natural Language Processing (NLP) yang mengukur tingkat kesamaan makna antara dua kalimat. Penelitian ini mengusulkan arsitektur Siamese Bidirectional Long Short-Term Memory (BiLSTM) yang dikombinasikan dengan mekanisme attention dan pendekatan fusion similarity (cosine similarity, Manhattan distance, dan Euclidean distance) untuk meningkatkan kemampuan model dalam memahami hubungan semantik antar pasangan kalimat. Evaluasi dilakukan menggunakan dataset Quora Question Pairs (QQP), yang terdiri dari sekitar 400.000 pasangan pertanyaan dengan label duplikat (1) atau bukan duplikat (0).

 Hasil eksperimen menunjukkan bahwa penambahan mekanisme attention pada arsitektur BiLSTM hanya memberikan sedikit peningkatan performa, yang mengindikasikan kontribusi yang kurang optimal terhadap kualitas representasi semantik teks namun demikian, penambahan attention mampu mempercepat konvergensi model, sehingga membutuhkan lebih sedikit epoch pelatihan. Kombinasi attention dengan fusion similarity menghasilkan peningkatan performa yang lebih signifikan dibandingkan penggunaan attention saja, karena fusion similarity memperkaya informasi hubungan antar representasi teks Dimana menghasilkan konvergensi yang lebih cepat dengan peningkatan pada seluruh metrik evaluasi. Model yang diusulkan mencapai akurasi sebesar 0,8465, precision sebesar 0,8055, recall sebesar 0,8571, dan F1-score sebesar 0,8305 QQP. Hasil ini menunjukkan bahwa mekanisme attention membantu model mencapai konvergensi dan fusion similarity dapat membantu memperkaya representasi kalimat.

Semantic similarity analysis is an important task in Natural Language Processing (NLP) that measures the degree of similarity in meaning between two sentences. This study proposes a Siamese Bidirectional Long Short-Term Memory (BiLSTM) architecture combined with an attention mechanism and a fusion similarity approach (cosine similarity, Manhattan distance, and Euclidean distance) to improve semantic relationship understanding between sentence pairs. Evaluation is conducted on the Quora Question Pairs (QQP) dataset, consisting of approximately 400,000 question pairs labeled as duplicate (1) or non-duplicate (0).

Experimental results show that adding an attention mechanism to BiLSTM and BiGRU architectures provides only a slight performance improvement, indicating a marginal contribution to semantic representation quality. however, it accelerates model convergence, requiring fewer training epochs. Combining attention with fusion similarity yields a more substantial performance improvement than attention alone, as fusion similarity enriches the relational information between text representations, while also achieving even faster convergence with consistent gains across all evaluation metrics. The proposed model achieved an accuracy of 0.8465, precision of 0.8055, recall of 0.8571, and F1-score of 0.8305 on the QQP dataset. These results indicate that the attention mechanism helps the model achieve faster convergence, while similarity fusion enriches sentence representations, thereby contributing to a more efficient and effective training process.

Kata Kunci : Siamese Network, BiLSTM, Attention Mechanism, Fusion Similarity, Semantic Similarity Analysis