FACIAL LANDMARK-BASED MICRO EXPRESSION DETECTION USING BOUNDARY CROSSING VECTOR ANALYSIS

Yoza Wiratama, Prof. Dra. Sri Hartati, M.Sc., Ph.D.; Muhammad Alfian Amrizal, B.Eng., M.I.S., Ph.D.

2025 | Tesis | S2 Ilmu Komputer

Identifikasi ekspresi mikro dalam analisis emosi manusia memerlukan perhatian khusus karena sulit didentifikasi bahkan oleh tenaga terlatih. Pengembangan sistem deteksi ekspresi mikro otomatis menggunakan teknik visi komputer dan analisis pola dapat menjadi solusi dalam meningkatkan akurasi dan efisiensi proses analisis emosi. Pendekatan berbasis facial landmark tracking, yaitu mendeteksi pola pergerakan titik-titik spesifik pada fitur penting wajah, dapat mendeteksi ekspresi mikro dengan tingkat akurasi berkisar 51-68%. Tingkat akurasi dari metode ini masih sangat berpeluang untuk ditingkatkan. Oleh karena itu, penelitian ini bertujuan mengembangkan metode deteksi ekspresi mikro yang lebih akurat dengan mengoptimalkan feature selection pada facial landmarks (FL) yang dihasilkan dari FL tracking berbasis deep learning dengan algoritma ensemble of regression trees, sehingga dapat mendeteksi frame onset, apex, dan offset secara lebih presisi. Pendekatan ini terdiri dari dua fase utama: (1) deteksi lokasi ekspresi mikro pada video menggunakan boundary-crossing vector analysis dengan batas threshold berupa lingkaran konsentris untuk mendeteksi titik onset, apex, dan offset; dan (2) estimasi emosi dari ekspresi mikro menggunakan Extra Trees Classifier. Sebagai hasil, metode yang dikembangkan berhasil mendeteksi timespot frame onset, apex, dan offset dengan nilai mean absolute error (MAE) masing-masing sebesar 28,37; 27,33; dan 29,08. Penggunaan Extra Trees Classifier menunjukkan performa akurasi yang tinggi, terutama pada emosi jijik (F1 Score 1,0) dan kebahagiaan (F1 Score 0,957). Sementara itu, tingkat akurasi untuk deteksi emosi terkejut dan penekanan memiliki nilai F1 Score masing-masing 0,727 dan 0,8. Sebagai kesimpulan, metode yang dikembangkan terbukti efektif untuk deteksi ekspresi mikro berbasis FL, terutama untuk ekspresi yang lebih intens dan konsisten.

Identifying micro-expressions in human emotion analysis requires special attention, as these expressions are challenging to detect, even for trained professionals. The development of an automated micro-expression detection system using computer vision and pattern analysis techniques offers a potential solution to enhance the accuracy and efficiency of emotion analysis. A facial landmark tracking-based approach, which detects movement patterns of specific points on critical facial features, can detect micro-expressions with an accuracy rate of approximately 51-68%. However, there is significant potential for improving the accuracy of this method. Therefore, this research aims to develop a more accurate micro-expression detection method by optimizing feature selection on facial landmarks (FL) produced from deep learning-based FL tracking, utilizing an ensemble of regression trees algorithm to more precisely detect onset, apex, and offset frames. This approach comprises two main phases: (1) detecting the location of micro-expressions in videos using boundary-crossing vector analysis with concentric circle thresholds to identify onset, apex, and offset points; and (2) estimating the emotion of micro-expressions using an Extra Trees Classifier. The developed method successfully detected onset, apex, and offset timespot frames with mean absolute error (MAE) values of 28.37, 27.33, and 29.08, respectively. The Extra Trees Classifier demonstrated high accuracy, particularly for the emotions disgust (F1 Score 1.0) and happiness (F1 Score 0.957). Meanwhile, the accuracy levels for detecting surprise and repression emotions achieved F1 Scores of 0.727 and 0.8, respectively. In conclusion, the developed method proves effective for FL-based micro-expression detection, especially for more intense and consistent expressions.

Kata Kunci : estimasi emosi, extra trees classifier, facial landmark tracking, feature selection, tingkat akurasi