Implementasi Penanda Wajah dan Long Short-Term Memory untuk Deteksi Kantuk

Riffan Daru, Prof. Ir. Nazrul Effendy, S.T, M.T., Ph.D., IPM.; Dr. Ir. Nur Abdillah Siddiq, S.T., IPP.

2025 | Skripsi | FISIKA TEKNIK

Mengemudi di jalanan dan mengoperasikan alat berat dapat menjadi sangat berbahaya jika dilakukan dalam keadaan kantuk karena adanya risiko terjadi microsleep yang dapat mengakibatkan kecelakaan. Sistem deteksi kantuk berbasis gambar menggunakan machine learning dapat menjadi solusi yang praktis untuk mengatasi masalah ini. Akan tetapi, sistem deteksi kantuk berbasis gambar sangat bergantung pada kualitas video input, baik secara tampilan maupun kualitas frame rate yang dimiliki.

Penelitian ini bertujuan untuk membangun model Long Short-Term Memory (LSTM) yang efektif untuk mendeteksi kantuk dan bagaimana pengaruh variasi frame rate video terhadap peforma model tersebut. Sistem deteksi kantuk yang diajukan menggunakan gabungan model MediaPipe Face Landmarker dan LSTM. Dataset yang digunakan pada penelitian ini adalah dataset kustom yang dikombinasi dengan dataset YawDD yang  yang berisi kumpulan video berformat 30 fps berdurasi 5 detik atau setara dengan 150 frame video. 

Hasil penelitian menunjukkan bahwa sistem deteksi kantuk ini dapat mendeteksi kantuk dengan tingkat akurasi mencapai 93,22%. Model LSTM yang mengandalkan fitur data deret waktu sangat sensitif terhadap perubahan urutan data yang terjadi ketika kualitas frame rate video berubah. Model LSTM yang dilatih hanya menggunakan dataset video 30 fps cenderung memiliki akurasi yang lebih rendah apabila digunakan untuk mendeteksi kantuk dengan input video kurang dari 30 fps.

Driving on the road and operating heavy equipment can be extremely dangerous if performed while drowsy due to the risk of microsleep, which can lead to accidents. Image-based drowsiness detection systems using machine learning can offer a practical solution to this problem. However, image-based drowsiness detection systems heavily depend on the quality of the input video, both in terms of visual appearance and frame rate quality.

This research aims to build an effective Long Short-Term Memory (LSTM) model for detecting drowsiness and investigate how video frame rate variations affect the model's performance. The proposed drowsiness detection system combines MediaPipe Face Landmarker with an LSTM model. The dataset used in this study is a custom dataset combined with the YawDD dataset, which contains 30 fps videos with a duration of 5 seconds, equivalent to 150 image frames.

The study results show that this drowsiness detection system can detect drowsiness with an accuracy rate of up to 93.22%. The LSTM model, which relies on time-series data features, is highly sensitive to changes in data sequence that occur when the video frame rate quality changes. The LSTM model trained solely using a 30 fps video dataset tends to have lower accuracy when used to detect drowsiness with input videos lower than 30 fps.

Kata Kunci : deteksi kantuk, mediapipe, long short-term memory, eye aspect ratio, mouth aspect ratio