Deteksi Kantuk Berbasis Fitur Mata, Mulut dan Posisi Kepala Menggunakan Ensemble Deep Learning

FADHILAH RIZKI FATONI, Diyah Utami Kusumaning Putri, S.Kom., M.Sc., M.Cs.

2023 | Skripsi | ILMU KOMPUTER

Kantuk adalah sebuah kondisi dimana seseorang ingin tidur. Mengantuk dapat berbahaya ketika berkendara karena bisa menyebabkan kecelakaan. Oleh sebab itu diperlukan penelitian mengenai deteksi kantuk untuk memberikan seorang pengendara sebuah peringatan ketika sedang mengantuk. Terdapat banyak metode yang dapat digunakan untuk melakukan deteksi kantuk dari metode yang menggunakan pengolahan citra digital, algoritma machine learning hingga algoritma deep learning. Beberapa metode menggabungkan algoritma-algoritma tersebut. 

Pada penelitian ini berfokus pada deteksi kantuk dengan menggabungkan fitur mata, fitur mulut dan fitur kepala menggunakan ensemble deep learning. Fitur-fitur tersebut dihasilkan dari model dengan arsitektur ResNet50 V2 yang juga dilatih berdasarkan data dari tiap fitur tersebut. Setiap model dilakukan percobaan dengan 2 learning rate yaitu 0.001 dan 0.01. Selain itu, setiap percobaan dilatih menggunakan ukuran batch sebesar 32 dan epoch sebesar 100. Model ensemble deep learning menghasilkan akurasi uji sebesar 74.6% untuk learning rate 0.001 dan 84% untuk learning rate 0.01. Model fitur mata memiliki akurasi uji sebesar 83.6% untuk learning ate 0.001 dan 97.2% untuk learning rate 0.01. Model fitur mulut memiliki akurasi uji sebesar 88.53% untuk learning rate 0.001 dan 91.4% untuk learning rate 0.01. Model fitur kepala memiliki akurasi uji sebesar 83.7% untuk learning ate 0.001 dan 94.5% untuk learning rate 0.01. Performa model ensemble deep learning belum bisa menyaingi model fitur yang lain karena memiliki akurasi dibawah model-model tersebut baik di learning rate 0.001 maupun learning rate 0.01.

Drowsiness is a condition in which a person wants to sleep. Drowsiness can be dangerous when driving because it can cause an accident. Therefore, research is needed on drowsiness detection to warn driver when they are sleepy. There are many methods that can be used to detect drowsiness from methods that use digital image processing, machine learning algorithms to deep learning algorithms. Some methods combine these algorithms. 

This research focused on detecting drowsiness by combining eyes features, mouth features and head features using ensemble deep learning. These features are obtained from models with the ResNet50 V2 architecture which are also trained based on data from each of these features. Each model was experimented with 2 learning rates, namely 0.001 and 0.01. In addition, each experiment was trained using a batch size of 32 and an epoch of 100. The ensemble deep learning model obtained an accuracy test of 74.6% for a learning rate of 0.001 and 84% for a learning rate of 0.01. The eye feature model has a test accuracy of 83.6% for a learning rate of 0.001 and 97.2% for a learning rate of 0.01. The mouth feature model has a test accuracy of 88.53% for a learning rate of 0.001 and 91.4% for a learning rate of 0.01. The head feature model has a test accuracy of 83.7% for a learning rate of 0.001 and 94.5% for a learning rate of 0.01. The performance of the ensemble deep learning model cannot compete with other feature models because it has an accuracy below these models at both a learning rate of 0.001 and a learning rate of 0.01.

Kata Kunci : deteksi kantuk, deep learning, Convolutional Neural Networks, ensemble deep learning