SISTEM PENGAWAS KEAMANAN DAN PRESENSI KELAS DI GEDUNG DTETI BERBASIS PENGENALAN WAJAH: PERANCANGAN SISTEM PRESENSI KELAS DI GEDUNG DTETI BERBASIS PENGENALAN WAJAH

THEA KIRANA, Dr.Eng. Igi Ardiyanto, S.T., M.Eng.; Ir. Noor Akhmad Setiawan, S.T., M.T., Ph.D., IPM.

2020 | Skripsi | S1 TEKNIK ELEKTRO

Sistem pengawas keamanan dan presensi perkuliahan yang masih dilakukan secara manual di DTETI terbatas pada kemampuan manusia dan rentan terhadap kecurangan. Untuk mengatasi hal ini, sistem berbasis pengenalan wajah akan diimplementasikan untuk membuat sistem pengawas keamanan dan presensi kelas otomatis menggunakan kamera CCTV yang ada dalam gedung DTETI. Luaran proyek Capstone berupa purwarupa sistem, yang terdiri atas program pengenal wajah, program pengawas keamanan, program pencatat presensi kelas, dan aplikasi web sebagai antarmuka dengan pengguna. Program pengenal wajah terdiri dari dua modul utama untuk mengukur embedding setiap wajah dalam dataset dan untuk mendeteksi serta mengenali orang dalam video CCTV secara real time. Untuk membangun kedua modul tersebut, tim Capstone mengimplementasikan beberapa algoritma untuk melakukan deteksi, alignment, ekstraksi fitur, dan pencocokan wajah. Modul-modul tersebut kemudian digunakan dalam program pengawas keamanan dan program pencatat presensi kelas. Kedua program dapat menerima masukan dan mengirimkan hasil keluarannya ke aplikasi web. Aplikasi web yang dikembangkan memiliki dua dashboard utama, masing-masing untuk menampilkan video pengawas keamanan dan tabel daftar hadir kelas. Masing-masing dashboard hanya dapat diakses oleh pengguna yang berkepentingan, yaitu petugas keamanan dan karyawan akademik DTETI. Sistem pengenalan wajah yang diimplementasikan dapat mencapai performa dengan nilai AUC 0,9718895 dan kecepatan 10,47 FPS menggunakan citra CPU pada resolusi citra masukan 1920x1080 piksel. Purwarupa sistem dapat berjalan secara real time dengan delay hanya sebesar 1,5 detik. Dokumen Technical Report ini akan menjelaskan secara detail proses desain dan implementasi program serta hasil pengujian dan analisis sistem yang telah dikembangkan dalam proyek Capstone. Beberapa perubahan rancangan sistem yang dilakukan selama proses implementasi juga akan dijelaskan dalam dokumen ini.

The building surveillance and class attendance monitoring systems that are still carried out manually at Department of Electrical and Information Engineering UGM are limited to human capabilities and vulnerable to fraud. To solve this problem, a face recognition based system will be implemented to create both building surveillance system and automatic class attendance system using video footage from CCTV camera in the building. The output of this Capstone Project is a system prototype, consists of a face recognition program, a building surveillance program, a class attendance monitoring program, and a web application as an interface with the user. The face recognition program consists of two main modules to measure the embedding of each face in a dataset and to detect and recognize people in CCTV video in real time. To build the two modules, the Capstone team implemented a number of algorithms for detection, alignment, feature extraction, and face matching. The modules are then used in the building surveillance program and class attendance monitoring program. Both programs can receive input and send their output to the web application. The web application has two main dashboards, each to display a building surveillance video and a class attendance list table. Each dashboard can only be accessed by interested users, namely security officers and academic employees. The face recognition system that is implemented can achieve performance with an AUC value of 0.9718895 and a speed of 10.47 FPS using CPU with 1920x1080 pixel input image resolution. The prototype system can run in real time with only 1.5 seconds delay. This document will explain the details of the design and implementation process and the results of system testing and analysis of the system prototype that has been developed in this Capstone Project. Some changes in system design made during the implementation process will also be explained in this document.

Kata Kunci : Pengawasan Gedung/Building Surveillance, Presensi Kelas/Class Attendance, Pengenalan Wajah/Face Recognition, Aplikasi Web/Web Application