Implementasi Teknik Digital Inpainting dengan Wasserstein Generative Adversarial Networks (WGAN) dengan Weight Clipping dan Penalti Gradien untuk Restorasi Citra Digital Karya Seni Bersejarah

Raden Ajeng Callysta Sevanda Calyacetta, Dr. Irwan Endrayanto Aluicius, S.Si., M.Sc.

2025 | Skripsi | STATISTIKA

Riset atas artificial intelligence melalui machine learning telah dikembangkan hingga untuk keperluan restorasi citra digital dengan teknik digital inpainting terhadap karya seni bersejarah—sebuah objek dengan konsekuensi umum berupa ketiadaan kondisi karya ketika masih sempurna sebagai ground truth dari praktik restorasi bersifat non-blind (imperfect ground truth). Wasserstein generative adversarial networks (WGAN)—sebagai salah satu yang dikembangkan melalui berbagai riset—memanfaatkan adaptasi metrik 1-Wasserstein yang membutuhkan kontinuitas Lipschitz yang dipertahankan dengan metode weight clipping maupun penalti gradien untuk melakukan restorasi citra digital secara lebih stabil dari pendahulunya, generative adversarial networks (GAN). Namun, riset tersebut belum mengaplikasikan algoritma WGAN untuk restorasi citra digital karya seni bersejarah dengan keterlibatan karakteristik data imperfect ground truth maupun dengan diversitas dan kompleksitas tinggi. Penelitian ini dilakukan untuk menyelidiki watak dan kapabilitas model berbasis WGAN dengan metode pembatasan weight clipping maupun penalti gradien pada restorasi citra digital karya seni bersejarah mural dengan gaya artistik khas berupa variasi warna luas, komposisi kompleks, serta struktur mendetail. Hasil pelatihan preliminer model berbasis WGAN dengan kondisi keterbatasan komputasi membuktikan keunggulan relatif dari algoritma WGAN-Penalti Gradien bagi restorasi citra digital karya seni bersejarah secara monitorable akibat fleksibilitas lebih yang diberikan batasan berupa penalti gradien dalam mempelajari fungsi estimasi kompleks secara stabil. Penelitian ini mendemonstrasikan pentingnya data pelatihan yang dapat mencakup variabilitas studi kasus untuk mempertahankan reliabilitas teoretis dari korelasi peningkatan kualitas hasil restorasi dengan metrik pelatihan yang monitorable secara praktis melalui penemuan terkait tarik-ulur yang dipengaruhi batasan kontinuitas Lipschitz yang digunakan bagi pelatihan. Akhirnya, penelitian ini menunjukkan potensi model berbasis WGAN pada restorasi kerusakan autentik berupa pengelupasan serta keretakan sebagai aplikasi pada data berkarakteristik imperfect ground truth dan berdiversitas serta kompleksitas tinggi berdasarkan progres pelatihan preliminer.

Research on artificial intelligence through machine learning has been developed for digital image restoration by the digital inpainting technique for historical artworks—an object with the general consequence of primarily perfect opus condition absence as non-blind restoration's ground truth (imperfect ground truth). Wasserstein generative adversarial networks (WGAN)—as one developed through various research—utilizes the adaptation of the 1-Wasserstein metric that requires Lipschitz continuity maintained by weight clipping and gradient penalty to perform digital image restoration more stably than its predecessor, generative adversarial networks (GAN). Nevertheless, the studies have not applied the WGAN algorithm for digital image restoration of historical artworks involving imperfect ground truth, nor with high diversity and complexity data characteristics. This research was conducted to investigate the nature and capabilities of WGAN-based models with weight clipping constraints and gradient penalties in the digital restoration of historical mural artworks, which feature distinctive artistic styles characterized by vast color variations, complex compositions, and detailed structures. The preliminary training results of WGAN models with computational constraints demonstrate the relative superiority of the WGAN-Gradient Penalty algorithm for the monitorable restoration of historical artworks, owing to the greater flexibility provided by the gradient penalty constraint in stably learning complex estimation functions. This study demonstrates the importance of training data, which covers the variability of the case study to maintain the theoretical reliability of the correlation between restoration quality improvement with the practically monitorable training metrics through the trade-offs discovery influenced by the Lipschitz continuity constraint used for training. Finally, this study shows the potential performance of WGAN-based models in authentic damage restoration—such as flaking and cracking—as an application on digital image data with imperfect ground truth, high diversity, and complexity characteristics based on preliminary training progress.

Kata Kunci : Restorasi citra digital, Karya seni bersejarah, Wasserstein generative adversarial networks, WGAN