Sistem Pengawasan Keamanan dan Presensi Kelas di Gedung DTETI Berbasis Pengenalan Wajah : Perancangan Aplikasi Web Untuk Sistem Pengawasan Keamanan dan Presensi Kelas di Gedung DTETI Berbasis Pengenalan Wajah

LUSY TRI AFZAMI, Igi Ardiyanto, Dr. Eng., S.T., M.Eng. ; Noor Akhmad Setiawan, S.T., M.T., Ph.D.

2020 | Skripsi | S1 TEKNOLOGI INFORMASI

Sistem pengawas keamanan dan presensi perkuliahan yang masih dilakukan secara manual di DTETI terbatas pada kemampuan manusia dan rentan terhadap kecurangan. Untuk mengatasi hal ini, sistem berbasis pengenalan wajah akan diimplementasikan untuk membuat sistem pengawas keamanan dan presensi kelas otomatis menggunakan kamera CCTV yang ada dalam gedung DTETI. Luaran proyek Capstone berupa purwarupa sistem, yang terdiri atas program pengenal wajah, program pengawas keamanan, program pencatat presensi kelas, dan aplikasi web sebagai antarmuka dengan pengguna. Program pengenal wajah terdiri dari dua modul utama untuk mengukur embedding setiap wajah dalam dataset dan untuk mendeteksi serta mengenali orang dalam video CCTV secara real time. Untuk membangun kedua modul tersebut, tim Capstone mengimplementasikan beberapa algoritma untuk melakukan deteksi, alignment, ekstraksi fitur, dan pencocokan wajah. Modul-modul tersebut kemudian digunakan dalam program pengawas keamanan dan program pencatat presensi kelas. Kedua program dapat menerima masukan dan mengirimkan hasil keluarannya ke aplikasi web. Aplikasi web yang dikembangkan memiliki dua dashboard utama, masing-masing untuk menampilkan video pengawas keamanan dan tabel daftar hadir kelas. Masing-masing dashboard hanya dapat diakses oleh pengguna yang berkepentingan, yaitu petugas keamanan dan karyawan akademik DTETI. Sistem pengenalan wajah yang diimplementasikan dapat mencapai performa dengan nilai AUC 0,9718895 dan kecepatan 10,47 FPS menggunakan citra CPU pada resolusi citra masukan 1920x1080 piksel. Purwarupa sistem dapat berjalan secara real time dengan delay hanya sebesar 1,5 detik. Dokumen Technical Report ini akan menjelaskan secara detail proses desain dan implementasi program serta hasil pengujian dan analisis sistem yang telah dikembangkan dalam proyek Capstone. Beberapa perubahan rancangan sistem yang dilakukan selama proses implementasi juga akan dijelaskan dalam dokumen ini.

The building surveillance and class attendance monitoring that are still carried out manually at DTETI are limited to human capabilities and vulnerable to fraud. To solving this problem, a face recognition based system will be implemented to create a building surveillance system and automatic class attendance using a CCTV camera that is in the DTETI building. The Capstone project output is in the form of a prototype system, consists of a face recognition program, a security monitoring program, a class attendance recording program, and a web application as an interface with the user. The face recognition program is consists of two main modules to measure the embedding of each face in a dataset. Not only to detect and recognize people in CCTV video in real-time but also to build the two modules, the Capstone team implementing several algorithms to detect, alignment, feature extraction, and face matching. Then, the modules are used in the security surveillance program and a class attendance recording program. Both programs can receive input and sending their output to the web application. The developed web application has two main dashboards, each to display a security monitoring video and a class attendance list table. Each dashboard can only be accessed by interested users like some of the security officers and academic DTETI employees. The face recognition system that is implemented can achieve performance with an AUC value of 0.9718895 and a speed of 10.47 FPS using a CPU image at an input image resolution of 1920x1080 pixels. The prototype system can run in real-time with a delay of only 1.5 seconds. This Technical Report document will explain in detail the program design and implementation process and the results of system testing and analysis that have been developed in the Capstone project. Some system design changes made during the implementation process will also be explained in this document.

Kata Kunci : Pengenalan Wajah, Aplikasi Web, Sistem Pengawasan Keamanan, Sistem Presensi, Face Recognition, Web Application, Surveillance Monitoring System , Attendance System.