Semi-Supervised Distillation for Multimodal Emotion Recognition: Transferring Affective Intelligence from LLM-based Models

Alana Jocelyn Natania Massie, Dr. Sri Mulyana, M.Kom.; Prof. Dr. Eng. Koichi Shinoda

2026 | Skripsi | ILMU KOMPUTER

State-of-the-art Multimodal Emotion Recognition (MER) semakin banyak mengandalkan Large Language Models (LLMs). Namun, kebutuhan komputasi yang sangat besar membatasi penerapannya hanya pada server berperforma tinggi. Selain itu, perkembangan MER juga terhambat oleh kelangkaan data berlabel berkualitas tinggi serta ketidakseimbangan kelas dataset, karena proses anotasi emosi manusia yang bersifat subjektif pada modalitas audio, visual, dan teks membutuhkan sumber daya yang sangat besar.

Untuk mengatasi hambatan tersebut, penelitian ini mengusulkan kerangka kerja Semi-Supervised Knowledge Distillation (SSKD) guna mengompresi model Teacher berukuran 7.8 miliar parameter (Emotion-LLaMA) menjadi arsitektur Student yang lebih siap diterapkan. Dengan menyalurkan distillation loss pada sebagian kecil data berlabel dan kumpulan besar data tanpa anotasi, kerangka ini mendorong model Student mempelajari hubungan semantik yang kompleks (atau “dark knowledge”) yang tertanam dalam distribusi soft-label milik model Teacher. Transfer pengetahuan ini dievaluasi pada dua arsitektur Student yang berbeda: model ringan awal MER2023 Attention Baseline berukuran 2.23 juta parameter dan model utama Llama-3.2-1B berukuran 1.2 miliar parameter.

Hasil empiris memvalidasi efektivitas kerangka yang diusulkan dalam mengatasi keterbatasan representasi pada arsitektur standar. Model Student Llama 1.2B hasil distilasi mencapai akurasi 80,22?n Unweighted Average Recall (UAR) sebesar 70.12% pada partisi data uji MER2023, melampaui baseline resmi kompetisi dataset tersebut. Kerangka SSKD juga secara efektif mengurangi masalah ketidakseimbangan kelas yang parah, sehingga secara signifikan meningkatkan kemampuan identifikasi kelas minoritas. Dengan demikian, metodologi ini berhasil mengurangi jumlah parameter model Teacher sebesar 84?n jejak memori sebesar 76%, sehingga menghasilkan pengklasifikasi emosi multimodal yang sangat akurat dan lebih adil.

State-of-the-art Multimodal Emotion Recognition (MER) increasingly relies on Large Language Models (LLMs). However, their massive computational overhead restricts deployment strictly to high-end servers. Furthermore, MER is bottlenecked by the scarcity of high-quality labeled data and severe dataset class imbalances, as annotating subjective human emotions across audio, visual, and textual modalities is a highly resource-intensive process.

To resolve these bottlenecks, this study proposes a Semi-Supervised Knowledge Distillation (SSKD) framework to compress a 7.8B parameter Teacher model (Emotion-LLaMA) into deployable Student architectures. By routing distillation loss across both a limited labeled partition and a vast pool of unannotated data, the framework forces the Student to learn the nuanced semantic relationships (or "dark knowledge") embedded in the Teacher's soft-label distributions This knowledge transfer is evaluated on two contrasting Student architectures: a preliminary lightweight 2.23M parameter MER2023 Attention Baseline and a primary 1.2B parameter Llama-3.2-1B model.

Empirical results validate the proposed framework's efficacy in overcoming the representational limitations of standard architectures. The distilled 1.2B Llama Student achieved 80.22?curacy and 70.12% Unweighted Average Recall (UAR) on the unseen MER2023 test partition, outperforming the dataset's official challenge baseline. The SSKD framework also effectively mitigated severe class imbalances, significantly improving minority class retrieval. Ultimately, this methodology reduced the Teacher's parameter count by 84% and its memory footprint by 76%, successfully producing a highly accurate and equitable multimodal emotion classifier.

Kata Kunci : Multimodal Emotion Recognition, Knowledge Distillation, Semi-supervised Learning, Affective Reasoning