FACIAL LANDMARK-BASED MICRO EXPRESSION DETECTION USING BOUNDARY CROSSING VECTOR ANALYSIS
Yoza Wiratama, Prof. Dra. Sri Hartati, M.Sc., Ph.D.; Muhammad Alfian Amrizal, B.Eng., M.I.S., Ph.D.
2025 | Tesis | S2 Ilmu Komputer
Identifikasi ekspresi mikro dalam analisis emosi manusia memerlukan
perhatian khusus karena sulit didentifikasi bahkan oleh tenaga terlatih.
Pengembangan sistem deteksi ekspresi mikro otomatis menggunakan teknik visi
komputer dan analisis pola dapat menjadi solusi dalam meningkatkan akurasi dan
efisiensi proses analisis emosi. Pendekatan berbasis facial landmark
tracking, yaitu mendeteksi pola
pergerakan titik-titik spesifik pada fitur penting wajah, dapat mendeteksi
ekspresi mikro dengan tingkat akurasi berkisar 51-68%. Tingkat akurasi dari metode ini masih sangat
berpeluang untuk ditingkatkan. Oleh
karena itu, penelitian ini bertujuan mengembangkan metode deteksi ekspresi
mikro yang lebih akurat dengan mengoptimalkan feature selection pada facial
landmarks (FL) yang dihasilkan dari FL tracking berbasis deep
learning dengan algoritma ensemble of regression trees, sehingga
dapat mendeteksi frame onset, apex, dan offset secara
lebih presisi. Pendekatan ini terdiri dari dua fase utama: (1) deteksi lokasi
ekspresi mikro pada video menggunakan boundary-crossing vector analysis
dengan batas threshold berupa lingkaran konsentris untuk mendeteksi
titik onset, apex, dan offset; dan (2) estimasi emosi dari
ekspresi mikro menggunakan Extra Trees Classifier. Sebagai hasil, metode
yang dikembangkan berhasil mendeteksi timespot frame onset, apex,
dan offset dengan nilai mean absolute error (MAE) masing-masing
sebesar 28,37; 27,33; dan 29,08. Penggunaan Extra Trees Classifier
menunjukkan performa akurasi yang tinggi, terutama pada emosi jijik (F1
Score 1,0) dan kebahagiaan (F1 Score 0,957). Sementara itu, tingkat
akurasi untuk deteksi emosi terkejut dan penekanan memiliki nilai F1 Score
masing-masing 0,727 dan 0,8. Sebagai kesimpulan, metode yang dikembangkan
terbukti efektif untuk deteksi ekspresi mikro berbasis FL, terutama untuk
ekspresi yang lebih intens dan konsisten.
Identifying micro-expressions in human emotion
analysis requires special attention, as these expressions are challenging to
detect, even for trained professionals. The development of an automated
micro-expression detection system using computer vision and pattern analysis
techniques offers a potential solution to enhance the accuracy and efficiency
of emotion analysis. A facial landmark tracking-based approach, which detects
movement patterns of specific points on critical facial features, can detect
micro-expressions with an accuracy rate of approximately 51-68%. However, there
is significant potential for improving the accuracy of this method. Therefore,
this research aims to develop a more accurate micro-expression detection method
by optimizing feature selection on facial landmarks (FL) produced from deep
learning-based FL tracking, utilizing an ensemble of regression trees algorithm
to more precisely detect onset, apex, and offset frames. This approach
comprises two main phases: (1) detecting the location of micro-expressions in
videos using boundary-crossing vector analysis with concentric circle
thresholds to identify onset, apex, and offset points; and (2) estimating the
emotion of micro-expressions using an Extra Trees Classifier. The developed
method successfully detected onset, apex, and offset timespot frames with mean
absolute error (MAE) values of 28.37, 27.33, and 29.08, respectively. The Extra
Trees Classifier demonstrated high accuracy, particularly for the emotions
disgust (F1 Score 1.0) and happiness (F1 Score 0.957). Meanwhile, the accuracy
levels for detecting surprise and repression emotions achieved F1 Scores of
0.727 and 0.8, respectively. In conclusion, the developed method proves
effective for FL-based micro-expression detection, especially for more intense
and consistent expressions.
Kata Kunci : estimasi emosi, extra trees classifier, facial landmark tracking, feature selection, tingkat akurasi