Pengembangan Arsitektur Dual-Stage Virtual Try-On Berbasis CatVTON Menggunakan Post-Processor Residual Refinement Module

Nathanael Aurelino Sulistyo, Faizah, S.Kom., M.Kom.; Aina Musdholifah, S.Kom., M.Kom. Ph.D

2026 | Skripsi | ILMU KOMPUTER

Image-based Virtual Try-On (VTON) menghadapi trade-off fundamental antara efisiensi komputasi dan fidelitas tekstur. Metode berbasis difusi yang mengutamakan pelestarian detail frekuensi tinggi umumnya menuntut arsitektur kompleks dengan overhead komputasi tinggi, sementara metode efisien seperti CatVTON yang menghilangkan mekanisme kompensasi tambahan rentan mengalami atenuasi tekstur akibat compression bottleneck VAE yang sengaja tidak tertangani. Atenuasi ini membuka peluang untuk memulihkan detail tekstur yang hilang melalui tahap penyempurnaan terpisah, tanpa harus mengganti model difusi yang efisien maupun menambah beban komputasi yang besar. Berangkat dari peluang tersebut, penelitian ini mengembangkan Residual Refinement Module (RRM) sebagai post-processor deterministik ringan dalam arsitektur VTON dual-stage berbasis CatVTON yang dibekukan. RRM menggunakan dual-stream encoder ringan untuk mengekstrak fitur citra kasar dan citra pakaian referensi secara independen, mekanisme cross-attention untuk memodelkan korespondensi antara kedua aliran fitur tanpa pensejajaran spasial eksplisit, dan decoder bertingkat yang memprediksi residual map dengan besaran koreksi per piksel yang dibatasi secara arsitektural. Evaluasi pada dataset VITON-HD menunjukkan perbaikan masked LPIPS sebesar 5,3% pada test set penuh dan 7,3% pada subset bertekstur kompleks, dengan pola stratifikasi monotonik yang meningkat hingga 11,0% pada citra dengan tekstur paling kompleks. Perbaikan ini dicapai dengan penambahan parameter sebesar 0,70%, overhead waktu inferensi sebesar 0,30%, dan tanpa peningkatan konsumsi VRAM puncak. Penelitian ini mengukur secara empiris batas pemulihan dan cakupan post-processor deterministik dalam kerangka arsitektur VTON dual-stage.

Image-based Virtual Try-On (VTON) faces a fundamental trade-off between computational efficiency and texture fidelity. Diffusion-based methods that prioritize the preservation of high-frequency detail typically rely on complex architectures with high computational overhead, whereas efficient methods such as CatVTON, which eliminate the auxiliary conditioning mechanisms that other methods use to compensate for Variational Autoencoder (VAE) compression, are prone to texture attenuation caused by the latent diffusion compression bottleneck. This attenuation opens an opportunity to compensate for the lost texture detail through a separate refinement stage, without replacing the efficient diffusion model or introducing substantial computational cost. Motivated by this opportunity, this study develops a Residual Refinement Module (RRM) as a lightweight deterministic post-processor within a dual-stage VTON architecture built on a frozen CatVTON. The RRM employs a lightweight dual-stream encoder to independently extract features from the coarse image and the reference garment image, a cross-attention mechanism to model the correspondence between the two feature streams without explicit spatial alignment, and a progressive decoder that predicts a residual map whose per-pixel correction magnitude is architecturally bounded. Evaluation on the VITON-HD dataset shows a masked LPIPS improvement of 5.3% on the full test set and 7.3% on the texture-complex curated subset, with a monotonic stratification pattern rising to 11.0% on the most texture-complex images. These improvements are achieved with a 0.70% increase in parameters, a 0.30% inference-time overhead, and no increase in peak VRAM consumption. This study empirically measures the recovery limit and scope of this deterministic post-processor within a dual-stage VTON architecture

Kata Kunci : Virtual Try-On, Latent Diffusion Model, Texture Recovery, Variational Autoencoder, CatVTON, Residual Refinement Module, Dual-Stream Encoder, Cross-Attention