Emotion Classification in Online Conference Using VGG16

Nabillah Octarani, Nur Rokhman, S.Si., M.Kom., Dr.

2023 | Skripsi | ILMU KOMPUTER

Pandemi COVID-19 telah memicu perubahan signifikan dalam cara kita berkomunikasi. Sejak saat itu, pertemuan konferensi daring telah menjadi mode komunikasi yang umum. Saat ini, konferensi daring digunakan secara luas untuk berbagai tujuan, termasuk layanan pelanggan, pendidikan, wawancara pekerjaan, pertemuan kerja, telehealth, dan lain sebagainya. Namun, ditemui tantangan dalam menilai perasaan dan reaksi peserta selama pertemuan virtual. Dalam pertemuan tatap muka, kita mengandalkan ekspresi sebagai bentuk umpan balik non-verbal dari lawan bicara kita. Oleh karena itu, ada kebutuhan yang semakin meningkat untuk metode praktis untuk mengetahui bagaimana perasaan peserta selama konferensi daring.

Penelitian ini membahas pengembangan model klasifikasi emosi sebagai alat untuk mendapatkan umpan balik dari peserta pertemuan konferensi daring. Untuk mencapai tujuan tersebut digunakan metode transfer learning dengan pretrained model VGG16. Pelatihan dilakukan dengan menggunakan dataset FER-2013 dan diuji menggunakan gambar konferensi daring yang diperoleh sendiri. Model yang telah dilatih kemudian diimplementasikan ke dalam aplikasi web.

Model ini mampu melakukan klasifikasi ekspresi dari setiap wajah yang ditampilkan dalam gambar pertemuan konferensi ke dalam satu tujuh ekspresi dasar. Akurasi yang dicapai dari model ini adalah 90% pada data validasi. Namun, loss model masih terlalu tinggi dengan nilai 1.0689 pada data validasi. Confusion Matrix digunakan untuk mengevaluasi model.

The onset of the COVID-19 pandemic triggered significant changes in how we communicate. Ever since then, online conference meetings have become a commonplace mode of communication. Nowadays, online conferences are widely used for various purposes, including customer services, education, job interviews, work meetings, telehealth, and more. However, it can be challenging to gauge the feelings and reactions of participants during these virtual meetings. In face-to-face meetings, we rely on expressions as a form of non-verbal feedback from our interlocutors. Therefore, there is a growing need for a practical method to easily determine how our participants are feeling during online conferences.

This research discusses developing an emotion classification model as a tool to gain feedback from online conference meeting participants. Transfer learning approach using VGG16 pretrained model is utilized to achieve that goal. Training is done using FER-2013 and tested using a self-obtained online conference footage.  The trained model is then being implemented into a web application.

The model is capable of achieving the goals of classifying expressions of each face shown in conference meeting footage into one of the seven basic expressions. The accuracy achieved from the model is 0.90 for validation dataset. However the model loss is still too high with 1.0689 on validation dataset. Confusion matrix is also used to evaluate the model.

Kata Kunci : Online Conference, Feedback, Satisfactory, Zoom meeting, Expression Classification, CNN, Transfer Learning, VGG16.