ATTENDANCE AUTHENTICATION SYSTEM USING BLUETOOTH LOW ENERGY AND FACE RECOGNITION IN ANDROID

ARNES RESPATI PUTRI, Sigit Priyanta, S.Si., M.Kom., Dr.

2020 | Skripsi | S1 ILMU KOMPUTER

Kehadiran dianggap sebagai aspek penting dalam menentukan performa mahasiswa. Di Universitas Gadjah Mada, perkuliahan dilakukan setiap hari, sementara rekaman kehadiran masih dilakukan secara manual. Sebagai solusi, sebuah sistem baru diusulkan yang memungkinkan otomatisasi dokumen, meminimalkan ketidakjujuran mahasiswa, hemat biaya, dan mendukung fleksibilitas kuliah, mis. seminar dan lokakarya. Kombinasi \textit{Bluetooth Low Energy} (BLE) dan pengenalan wajah dalam sistem autentikasi kehadiran yang diusulkan mengatasi kelemahan sistem yang sudah ada. BLE digunakan untuk mengirimkan TOTP yang memungkinkan perekaman kehadiran yang cepat dan simultan, sementara algoritma pengenalan wajah yang canggih memastikan kejujuran siswa. Algoritma ini mencakup CNN untuk deteksi wajah dan pembuatan \textit{face embedding}. Selain itu, SVM digunakan dalam klasifikasi 200 identitas dalam pengenalan wajah di sistem ini. Dalam evaluasinya, mekanisme BLE-TOTP berhasil mempertahankan efisiensi dalam waktu verifikasi 10 detik. Hal ini juga mendorong siswa untuk berada di dalam ruang kuliah karena kemampuan pendeteksian BLE menjadi sulit bersama bertambahnya jarak. Dengan menggunakan CNN bertingkat dengan input multi-dimensi dan penindasan non-maksimum untuk menghilangkan jendela deteksi yang salah pada tahap deteksi wajah, sistem dapat memverifikasi permintaan pengenalan wajah dalam waktu 30 detik dengan tetap menjaga akurasi deteksi wajah sebesar 80,8%. Selain itu, pengenalan wajah memberikan hasil FAR dan FRR 0,0059 dan 0,168 yang menjaga keamanan sistem dan menghilangkan kemungkinan proksi. Sistem ini dikembangkan sebagai aplikasi Android, menghasilkan pendekatan rekaman kehadiran yang terjangkau, cerdas, dan aman.

Attendance is considered as an important aspect in determining a student's performance. In Universitas Gadjah Mada, a considerable number of lecture events are conducted every day, while the attendance recording is still done manually. As a solution, a new system is proposed that allows the automation of paperwork, minimizes frauds, is cost-effective, and supports the flexibility of lectures, i.e. seminars and workshops. The combination of Bluetooth Low Energy (BLE) and face recognition in the proposed attendance authentication system tackle the drawbacks of the existing system. BLE is used to transmit TOTP that allows fast and simultaneous attendance, while state-of-the-art face recognition algorithm ensures student honesty. The algorithm includes CNN for face detection and face embedding generation. Moreover, SVM is used in the classification of 200 identities in face recognition. In the evaluation, the BLE-TOTP mechanism successfully maintains efficiency with the verification time of 10 s. It also encourages students to be inside the lecture room since BLE detection ability becomes challenging as the distance is added. By using cascaded CNNs with multi-dimensional input and non-maximum suppression to extremely eliminate false detection windows in the face detection stage, the system can verify a face recognition request within 30 s while keeping the face detection accuracy to be 80.8%. Additionally, the face recognition gives FAR and FRR result of 0.0059 and 0.168 which maintains the security of the system and eliminate proxy attempts. The system is developed as an Android application for good measure and hence provides an affordable, smart, and secure way for attendance taking.

Kata Kunci : Attendance Management System, Android, Bluetooth Low Energy, Face Recognition, Convolutional Neural Network, Face Embedding Vector, Support Vector Machine