Perbandingan Bidirectional dan Attention Mechanism dalam Klasifikasi Multilabel untuk Mengekstraksi Data Diagnosis dari Catatan Medis

Daud Iffa Fauzan Argana, Dr. Lukman Heryawan, S.T., M.T.

2023 | Skripsi | ILMU KOMPUTER

Untuk mempermudah ekstraksi informasi tertentu seperti diagnosis dari rekam medis, model-model deep learning telah diteliti agar prosesnya bisa dilakukan secara otomatis, baik dengan pendekatan anotasi maupun klasifikasi multilabel. Konsep bidirectional dan attention mechanism telah diterapkan kepada jaringan deep learning LSTM dan GRU untuk menemukan model yang paling cocok. Model yang menggunakan konsep-konsep tersebut, baik secara terpisah maupun bersamaan, diketahui memiliki akurasi yang lebih baik dari model yang tidak menggunakan keduanya. Namun, dalam pendekatan klasifikasi multilabel, perbandingan antara bidirectional dan attention mechanism atau dengan kombinasi keduanya belum diketahui.

Penelitian ini dilakukan untuk memahami bagaimana perbandingan antara bidirectional dan attention mechanism dalam konteks klasifikasi multilabel teks medis. Dengan menggunakan data teks laporan medis dari MTSamples dan melatih model-model LSTM dan GRU yang menggunakan salah satu dari bidirectional dan attention mechanism, yang menggunakan keduanya, dan yang tidak menggunakan mereka sama sekali sebanyak dua kali dengan durasi masing-masing 100 dan 300 epoch, lalu membandingkan F1-score dari model-model.

Penelitian ini mengonfirmasi bahwa bidirectional ataupun attention mechanism biasanya meningkatkan performa model klasifikasi multilabel, khususnya jika durasi pelatihan tidak terlalu banyak seperti yang ditunjukkan peningkatan F1-score sebesar 2,55–7,93% pada pelatihan selama 100 epoch. Namun, menggunakan keduanya secara bersamaan tidak lebih baik dari menggunakan salah satu saja karena ada lebih banyak kasus menggunakan salah satu saja menghasilkan F1-score yang lebih tinggi. Berdasarkan hasil pengujian, bidirectional lebih konsisten dalam meningkatkan F1-score LSTM sementara attention mechanism lebih konsisten dalam meningkatkan F1-score GRU.

To extract important information like diagnosis from medical records, deep learning models have been studied to make the process automatic, using either annotation or multi-label classification approach. Bidirectionality and attention mechanism concepts have been applied to deep learning networks LSTM and GRU to find the best network architecture. It is known that bidirectionality and attention mechanism, be it separately or combined, improve the accuracy of the models compared to models that use neither. However, in the multi-label classification approach, comparison between bidirectionality and attention mechanism or with the combination of both is not known.

This research is done in order to understand how bidirectionality and attention mechanism compare with each other in multi-label classification and medical text data context. Using medical report text data from MTSamples and by training LSTM and GRU models that use none, one, or both of bidirectionality and attention mechanism two times with different number of epochs (100 and 300), this study compares the F1-scores of each models.This study confirms that both bidirectionality and attention mechanism usually improve the performance of multi-label classification models, especially with fewer epochs shown by the 2,55–7,93% increase in F1-scores for the 100- pochs long training. However, using both at the same time is not better than using only one of them because there are more test cases where using only one produces a better F1-score. Based on the test results, bidirectionality improves LSTM F1-scores more consistently while attention mechanism improves GRU F1-scores more consistently.

Kata Kunci : ekstraksi data medis, klasifikasi multilabel, RNN, LSTM, GRU, bidirectional, attention mechanism