ANALISIS KLASIFIKASI LUKISAN MENURUT PELUKIS MENGGUNAKAN MODEL DEEP LEARNING PRA-TERLATIH DAN MACHINE LEARNING

Adhyaksa Nainggolan, Prof. Drs. Agus Harjoko, M.Sc., Ph.D , Dr.Andi Dharmawan,S.Si,M.Cs

2024 | Tesis | MAGISTER KECERDASAN ARTIFISIAL

Menentukan kepemilikan lukisan adalah tugas yang menantang karena seorang seniman mungkin tidak memiliki gaya yang unik, dan berbagai seniman dapat memiliki gaya lukisan yang serupa. Dalam bidang seni lukis, mengklasifikasikan gambar berdasarkan gaya pelukis sering kali merupakan tantangan yang kompleksDataset yang digunakan berasal dari Kaggle,berjudul "Best Art of All Time," yang merupakan kumpulan label pelukis terkenal di seluruh dunia. Solusi untuk mengklasifikasikan lukisan berdasarkan pelukis adalah pendekatan pembelajaran mesin yang menggabungkan deep learning untuk ekstraksi fitur dan melakukan klasifikasi menggunakan model pembelajaran mesin.Penggunaan augmentasi adalah teknik yang digunakan untuk meningkatkan kinerja klasifikasi lukisan. Hyperparameter tuning adalah metode yang digunakan sebelum pelatihan data untuk mencapai nilai performa optimal dalam klasifikasi lukisan. Metode ini efektif karena deep learning mampu mengekstraksi fitur kompleks dan mendetail dari lukisan,yang sering kali sulit dicapai dengan teknik konvensional. Dengan menggabungkan hasil ekstraksi fitur ini dengan algoritma pembelajaran mesin, model dapat dilatih lebih efektif untuk mengenali dan mengklasifikasikan pola-pola yang lebih halus dan bervariasi dalam data lukisan.Pendekatan ini juga memungkinkan pemanfaatan augmentasi data untuk meningkatkan ketahanan model terhadap variasi dalam dataset, sehingga menghasilkan kinerja klasifikasi yang lebih akurat dan andal.Penggunaan empat model ekstraksi fitur, terutama Resnet-50, dan augmentasi dengan klasifikasi SVM terbukti efektif dalam meningkatkan hasil klasifikasi lukisan, dievaluasi melalui metrik akurasi, presisi, recall, dan F1 score. Hasil performa klasifikasi lukisan yang paling efektif berdasarkan pelukis dicapai dengan menggunakan ekstraksi fitur Resnet-50 dan model klasifikasi SVM. Nilai akurasi, presisi, recall, dan F1 score adalah 87,19%, 87,44%, 87,19%, dan 87,14%

Determining the ownership of a painting is a challenging task because an artist might not have a unique style, and various artists can have similar painting styles. In the field of painting, classifying images based on the painter's style often presents a complex challenge.The dataset used is from Kaggle,titled "Best Art of All Time," which is a collection of labels of famous painters worldwide. The solution to classify paintings based on the painter is a machine learning approach that combines deep learning for feature extraction and performs the classification using a machine learning model.The use of augmentation is a technique employed to enhance the performance of painting classification.

Hyperparameter tuning is a method used before data training to achieve optimal performance values in painting classification.This method is effective because deep learning can extract complex and detailed features from paintings, which are often difficult to achieve with conventional techniques.By combining these feature extraction results with machine learning algorithms,the model can be trained more effectively to recognize and classify finer and more varied patterns in painting data. This approach also allows the utilization of data augmentation to increase the model's resilience to variations within the dataset, thereby resulting in more accurate and reliable classification performance. The use of four feature extraction models,especially Resnet-50,and augmentation with SVM classification has proven effective in improving the classification results of paintings, evaluated through accuracy, precision, recall, and F1 score metrics. The most effective performance results for painting classification based on the painter are achieved using the Resnet-50 feature extraction and the SVM classification model. The values for accuracy, precision, recall, and F1 score are 87.19%, 87.44%, 87.19%, and 87.14%, respectively.

Kata Kunci : Keywords:Classification, paint, SVM,. Xgboost, Random Forest, augmentation, feature extraction