Sistem Monitoring Tingkat Kantuk dan Tingkat Atensi pada Peserta Pembelajaran Daring Berbasis Facial Landmark dan Gaze360

FARREL FERDIAN, Ir. Hanung Adi Nugroho, S.T., M.E., Ph.D., IPM. ;Dr. Indriana Hidayah, S.T., M.T.

2023 | Skripsi | S1 TEKNIK ELEKTRO

Pada tahun 2020, dunia dilanda pandemi Covid-19. Semenjak terjadinya pandemi, seluruh pembelajaran beralih dari luring menjadi daring. Peralihan mekanisme pembelajaran ini membuat suatu tantangan dalam proses belajar mengajar. Dengan pembelajaran daring, pengajar tidak dapat mengawasi peserta pembelajaran saat proses belajar mengajar tanpa menggunakan kuota yang besar. Sistem ini diharap dapat mengatasi mengatasi masalah tersebut sehingga pengajar dapat mengawasi peserta pembelajaran saat proses belajar mengajar tanpa memerlukan kuota yang besar. Pada capstone project berjudul sistem monitoring pembelajaran daring berbasis facial mapping dan deep learning ini, solusi akan dibuat menggunakan webcam yang ada pada perangkat peserta pembelajaran. Dengan menggunakan teknik-teknik computer vision, citra akan diolah secara lokal dan status peserta pembelajaran akan dikirim ke pengajar. Dengan ini, tidak perlu dikirimnya seluruh data video untuk pengawasan dapat meminimalisasi penggunaan kuota internet dengan sangat besar. Hal yang akan dideteksi dan dijadikan basis dalam monitoring pembelajaran daring ini adalah deteksi kantuk dan deteksi tatapan. Dengan dua basis ini, sistem akan mendeteksi apakah seorang peserta pembelajaran sedang dalam kondisi kantuk atau sedang tidak memperhatikan pembelajaran. Di akhir capstone project, algortima yang dikembangkan akan disatukan dengan dektop app yang dikembangkan oleh rekan untuk menjadi suatu sistem monitoring pembelajaran daring secara keseluruhan. Dalam proses pembuatan sistem monitoring kuliah daring ini, menggunakan library Dlib python untuk deteksi wajah yang berbasis metode histogram of oriented gradient dan untuk deteksi facial landmark yang berbasis regression trees. Facial landmark yang didapat digunakan untuk menentukan tingkat kantuk seseorang dengan mendeteksi eye aspect ratio dan mouth aspect ratio. Dalam deteksi tatapan, menggunakan arsitektur Gaze360 yang menghasilkan keluaran berupa sudut relatif terhadap webcam. Keluaran sudut yang terdiri dari dua jenis sudut (pitch dan yaw) dengan acuan threshold sudut dibandingkan untuk mendapat informasi apakah peserta pembelajaran sedang memperhatikan kuliah. Dari informasi eye aspect ratio, mouth aspect ratio dan sudut tatapan akan ditentukan skor tingkat kantuk dan skor tingkat perhatian yang mana skor tersebut akan dikirim ke program pada sisi pengajar.

The world was hit by Covid-19 pandemic in 2020. Since the pandemic, all method of formal education changed from face to face to online. This change becomes one of the problem in education sector during the pandemic. One of that problem is teachers can’t monitor their students during classes. There are few reasons why teachers can’t monitor the students. One of the reasons is the inability of the students to turn on the camera during video conference because of high bandwidth usage. The system that are being developed would solve that problem, making teachers able to monitor their students without the students turning on their camera. In this capstone project, the input will be the webcam from student’s laptop. Using image processing and computer vision technique, the input image from the webcam will be processed and be used as the sole input for the monitoring system. From that webcam input, there will be two parameters that are being calculated. Those two parameters are drowsiness and gaze detection. Thus, from those two parameters, the teachers will get information whether the students either drowsy or not paying attention to the screen. In developing this capstone project, dlib python library are used to detect face and facial landmark. The detected facial landmark will be used to determine the eye aspect ratio and mouth aspect ratio that will in turn translate to drowsiness score. For gaze detection, gaze360 architecture based on bidirectional LSTM will be used to detect the gaze angle. That gaze angle will be used to determine whether the students looking at the screen and in turn will determine the attention score. The drowsiness and attention score are the value that the teacher will be receiving as the information for their student's status.

Kata Kunci : deteksi kantuk, deteksi tatapan, facial landmark