DETEKSI KANTUK PENGEMUDI BERDASARKAN FACIAL ACTIONS MENGUAP DAN MENUTUP MATA DENGAN ALGORITMA DEEP LEARNING

Yenny Rahmawati, Prof. Ir. Hanung Adi Nugroho, S.T., M.E., Ph.D., IPM., SMIEEE. ; Dr. Eng. Ir. Igi Ardiyanto, S.T., M.Eng.

2024 | Tesis | S2 Teknik Elektro

Kantuk merupakan masalah umum yang sering dihadapi oleh banyak pengemudi karena jam kerja yang panjang, kurang tidur, dan kelelahan. Pengemudi yang lelah berpotensi membahayakan baik untuk dirinya dan sekitar karena kantuk memiliki waktu reaksi yang lebih lambat dan mengalami penurunan perhatian, kesadaran, dan kemampuan untuk mengendalikan kendaraan. Mengemudi dalam keadaan mengantuk menyebabkan banyak kecelakaan lalu lintas, terutama kecelakaan fatal. Oleh karena itu, cara terbaik untuk mencegah kecelakaan akibat kantuk adalah dengan memberikan peringatan kepada pengemudi sebelumnya.

Untuk mengatasi masalah ini, penelitian ini bertujuan untuk mengembangkan sistem deteksi kantuk pengemudi secara real time menggunakan fitur visual dari kamera dashboard. Metode non-invasif yang diusulkan memanfaatkan landmark wajah untuk mengekstraksi rasio aspek mulut dan mata, yang selanjutnya dianalisis dengan menggunakan tiga model deep learning yaitu 1DCNN, LSTM, dan BiLSTM. Pengujian dilakukan terhadap dataset YawDD dan NTHU, yang meliputi kondisi pencahayaan siang dan malam untuk mengevaluasi kinerja sistem dalam kondisi lingkungan yang berbeda. Hasil eksperimen menunjukkan bahwa sistem mencapai tingkat akurasi sebesar 99?lam deteksi kantuk pengemudi sehingga performa yang dihasilkan menunjukkan kemampuannya untuk diimplementasikan sebagai sistem peringatan dini guna mengurangi risiko kecelakaan lalu lintas yang disebabkan oleh kantuk pengemudi. Penelitian ini memberikan kontribusi penting dalam pengembangan teknologi untuk keselamatan transportasi, dengan mempertimbangkan tantangan dari variasi kondisi lingkungan yang dapat mempengaruhikeandalan sistem deteksi.

 

Drowsiness is a common problem faced by many drivers due to long working hours, lack of sleep, and fatigue. Tired drivers are potentially harmful to both themselves and their surroundings because sleepiness has a slower reaction time and causes a decrease in attention, awareness, and ability to control the vehicle. Driving in a sleepy state causes many traffic accidents, especially fatal accidents. Therefore, the best way to prevent accidents due to drowsiness is to warn drivers in advance.

To solve this issue, the study aims to develop a driver’s sleep detection system real time using the visual features of the camera dashboard. The proposed non-invasive method uses facial landmarks to extract the ratio of mouth-to-eye aspects, which was further analyzed using three deep learning models: 1DCNN, LSTM, and BiLSTM. Tests were carried out on the YawDD and NTHU datasets, which included day and night lighting conditions, to evaluate system performance in different environmental conditions. The experimental results showed that the system achieved 99?curacy in driver sleep detection, so the resulting performance demonstrated its ability to be implemented as an early warning system to reduce the risk of traffic accidents caused by driver drowsiness. The research has made important contributions to the development of technology for transport safety, considering the challenges of the variation of environmental conditions that can affect the reliability of detection systems.

Kata Kunci : Deteksi kantuk pengemudi, EAR, MAR, IDCNN, LSTM, Bi-LSTM.