Deteksi Wajah Deepfake Menggunakan Convolutional neural Network, ResNet50, DenseNet121, dan XceptionNet

FARLA PRICILLA FATIMA, Prof. Dr.rer.nat. Dedi Rosadi, S.Si., M.Sc.

2024 | Skripsi | STATISTIKA

Salah satu inovasi baru yang lahir dari kecerdasan buatan adalah teknologi deepfake. Deepfake berasal dari kata ‘deep learning’ dan ‘fake’. Deepfake merupakan teknik menciptakan konten rekayasa yang menyerupai objek asli dengan memanfaatkan deep learning. Penggunaan deepfake untuk kejahatan perlu dicegah dengan mengembangkan algoritma pendeteksi deepfake. Penelitian ini dilakukan untuk melakukan klasifikasi wajah real dan fake (deepfake) yang sulit dibedakan melalui mata telanjang. Dalam penelitian ini digunakan sebanyak 5.000 sampel data dari dataset 140k Real and Fake Faces dengan perbandingan 4 metode, yakni convolutional neural network, serta CNN dengan arsitektur pretrained ResNet50, DenseNet121, dan XceptionNet. Penelitian dimulai dengan melakukan prapemrosesan data, augmentasi data, dan menetapkan parameter yang sama untuk keempat metode. Dari penelitian yang telah dilakukan, diperoleh XceptionNet sebagai model terbaik dengan akurasi sebesar 99,6%, presisi sebesar 99,603%, recall sebesar 99,6%, dan f1-score sebesar 99,6%., diikuti dengan ResNet50 dengan akurasi sebesar 91,4%, presisi sebesar 91,417%, recall sebesar 91,4%, dan 91,399%. Sementara itu, CNN berada di posisi ketiga dan DenseNet121 berada diposisi terakhir.

One of the new innovations born from artificial intelligence is the deepfake technology. Deepfake comes from the words ‘deep learning’ and ‘fake’. Deepfake is a technique for creating engineered content that resembles real objects by utilizing deep learning. The use of deepfake for criminal purposes needs to be prevented by developing deepfake detection algorithms. This research aims to classify real and fake (deepfake) faces that are difficult to distinguish with the naked eye. This research used 5,000 data samples from 140k Real and Fake Faces dataset, comparing 4 methods, namely convolutional neural network, pretrained architecture ResNet50, DenseNet121, and XceptionNet. The research began with data preprocessing, data augmentation, and setting the same hyperparameters for all four methods. From the conducted research, XceptionNet was obtained as the best model with an accuracy of 99.6%, precision of 99.603%, recall of 99.6%, and f1-score of 99.6%, followed by ResNet50 with an accuracy of 91.4%, precision of 91.417%, recall of 91.4% and f1-score of 91.399%. Meanwhile, CNN is the third position and DenseNet121 is in the last position.

Kata Kunci : Deepfake, Convolutional Neural Network (CNN), ResNet50, DenseNet121, dan XceptionNet