Images Forgery Detection using Convolutional Neural Network (IUP)

SALMAN ALFARIZI H, Moh Edi Wibowo, S.Kom., M.Kom., Ph.D.

2021 | Skripsi | S1 ILMU KOMPUTER

Deepfake adalah teknologi paling mutakhir yang dapat memberikan banyak keuntungan dan dapat dianggap sebagai suatu ancaman terhadap keberlangsungan hidup manusia. Semua orang dapat menggunakan aplikasi tertentu untuk membuat atau menciptakan suatu gambar dari orang lain yang seakan akan dapat menggambarkan suatu hal yang dilakukan ataupun di bicarakan seakan akan orang yang bersangkutan benar benar melakukan nya.. Tujuan dari eksperimen ini adalah untuk menciptakan suatu model program menggunakan deep learning yang dapat digunakan untuk memberi klasifikasi terhadap gambar yang dengan muka yang berbeda. Metode yang akan digunakan adalah MESONET yang merupakan bagian dari Convolutional Neural Network atau model CNN yang akan digunakan sebagai klasifier. Pada akhir penelitian ini, didapatkan hasil yang dapat membedakan gambar apabila gambar tersebut telah di implementasikan menggunakan deepfake atau belum. Didalam eksperimen ini, telah menggunakan beberapa cara untuk menjalankan percobaan. Pertama akan dilakukan pre-processing, pelatihan data, dan Validation terhadap data setelah dilakukannya percobaan. Percobaan ini akan di evaluasi menggunakan K-Fold crossvalidation untuk melakukan cek terhadap model pelatihan terhadap dataset apabila stabil didalam persentasi tertentu. Penyetelan hyperparameter digunakan dalam setiap pengujian dengan menggunakan Brute force dalam upaya untuk meningkatkan akurasidan stabilitas dalam validasi. Percobaan terbaik berhasil mendapatkan model dengan akurasi 99.50% dan akurasi rata rata K-Fold 70.50% dengan akurasi +/-15.49%.

Deepfake is the latest technology that can bring a lot of benefits and also can be considered as a threat to humanity. Everyone can use a certain application to create edited images of another individual to act as if the real person does or speak certain things as the user wanted them to do. The objective of this research is to create a deep learning model that is able to do classification on those different images. The approach method that is going to be used is Mesonet that is a part of a CNN (Convolutional Neural Network) model that acts as the classifier. By the end of this research, it is expected to prove whether the images have been created using Deepfake or not. There are several methods to do research, which are data pre-processing, training and cross validation. This research evaluation is conducted using K-Fold cross validation to verify if the training model is able to handle the dataset within a stable threshold Hyperparameter tuning is used in each test by using brute force in attempt to increase the accuracy and the stability of the cross-validation. The best attempt able to produce a model that has an accuracy of 99.50% with Kfold average accuracy of 70.50% with +/- accuracy of 15.49%

Kata Kunci : Deepfake, Deep learning, CNN, Mesonet, K-Fold Cross Validation, Confusion Matrix.