A BENCHMARKING STUDY OF DEBIASING METHODS FOR PROPAGATING PREDICTION ERROR FOR CNN AND PLR

Muhammad Rafi Cahya Ramadhana, Prof. Dr.-Ing. Mhd. Reza M. I. Pulungan, S.Si., M.Sc.

2026 | Skripsi | ILMU KOMPUTER

Kerangka penelitian dua tahap, di mana model machine learning (ML) digunakan untuk menghasilkan label data pada tahap pertama yang selanjutnya digunakan sebagai masukan pada model inferensi kausal di tahap kedua, telah diadopsi secara luas di berbagai disiplin ilmu empiris. Namun, galat prediksi yang melekat pada variabel yang dihasilkan oleh ML bersifat non-klasik: galat tersebut tidak konvergen ke nol secara asimtotik dan berkorelasi dengan kovariat yang teramati dengan cara yang melanggar asumsi standar model kausal. Fenomena ini, yang dikenal sebagai propagating prediction error, menyebabkan estimasi kausal pada tahap kedua mengalami bias secara sistematis dalam arah dan besaran yang tidak dapat ditentukan tanpa label ground-truth dan tidak dapat diselesaikan hanya dengan meningkatkan akurasi prediksi ML. Meskipun beberapa metode debiasing telah diajukan untuk mengatasi masalah ini, belum ada studi yang secara sistematis membandingkan kinerjanya terhadap suatu baseline yang sama dalam kondisi terkontrol. Penelitian ini mengisi kesenjangan tersebut dengan membandingkan lima metode debiasing dalam sebuah pipeline tetap yang terdiri atas Convolutional Neural Network sebagai model ML pada tahap pertama dan Partially Linear Regression sebagai model inferensi kausal pada tahap kedua, menggunakan data simulasi dan parameter kausal yang diketahui. Kelima metode tersebut mencakup tiga titik intervensi dalam pipeline. Pada fase pra-prediksi, Adversarial Debiasing (AD) memodifikasi CNN dengan jaringan adversarial yang menghukum kovarians antara galat prediksi dan variabel perlakuan, sehingga secara langsung menyasar sumber bias. Pada fase pra-inferensi, Conditional Expectation (CE) menggantikan variabel yang dihasilkan ML dengan ekspektasi bersyaratnya terhadap kovariat yang diketahui, sementara Generalized Method of Moments (GMM) mengkalibrasi ulang variabel tersebut secara nonparametrik menggunakan subset berlabel. Pada fase pasca-inferensi, Predict-Then-Debias (PTD) mengestimasi dan mengurangkan bias estimator naif menggunakan observasi berlabel, sementara Prediction-Powered Inference (PPI) mendebiaskan fungsi loss PLR secara langsung melalui rektivier berbasis subset berlabel, sehingga menghasilkan interval kepercayaan yang valid tanpa bergantung pada kualitas model ML. Eksperimen utama membandingkan kelima metode terhadap baseline naif berdasarkan rata-rata bias, RMSE, variansi estimator, dan cakupan interval kepercayaan, sementara eksperimen sekunder mengkaji apakah peringkat antar metode tetap stabil pada berbagai ukuran sampel dan dimensionalitas data. Penelitian ini menyajikan studi banding pertama atas metode-metode debiasing tersebut dalam kondisi yang identik, memberikan bukti empiris mengenai propagating prediction error serta panduan bagi peneliti dalam memilih pendekatan korektif yang tepat.

The two-stage research framework, where machine learning (ML) models are used to generate labels from unstructured data in a first stage that are subsequently used as inputs to a causal inference model in a second stage, has seen widespread adoption across various empirical disciplines. However, the prediction errors inherent in ML-generated variables are non-classical: they do not converge to zero asymptotically and are correlated with observed covariates in ways that violate standard causal model assumptions. This phenomenon, known as propagating prediction error, causes second-stage causal estimates to be systematically biased in a direction and magnitude that cannot be determined without ground-truth labels and, counterintuitively, cannot be resolved by improving ML prediction accuracy. While several debiasing methods have been proposed to address this problem, no study has systematically benchmarked them against a common baseline in a controlled setting. This study addresses this gap by benchmarking five debiasing methods within a fixed pipeline consisting of a Convolutional Neural Network (CNN) as the Stage 1 ML model and Partially Linear Regression (PLR) as the Stage 2 causal inference model, using simulation data with a fully specified Data Generation Process (DGP) and true causal parameter replications. The five methods span three intervention points in the pipeline. At the pre-prediction phase, Adversarial Debiasing (AD) augments CNN training with an adversarial network that penalizes covariance between prediction errors and treatment, directly targeting the source of downstream bias. At the pre-inference phase, Conditional Expectation (CE) replaces the ML-generated treatment variable with its conditional expectation given observed covariates, while Generalized Method of Moments (GMM) nonparametrically recalibrates it using a labeled subset. At the post-inference phase, Predict-Then-Debias (PTD) estimates and subtracts the naive estimator's bias using labeled observations, while Prediction-Powered Inference (PPI) debiases the PLR loss function directly via a labeled-subset rectifier, yielding valid confidence intervals regardless of ML model quality. The primary experiment compares all five methods against the naïve baseline across mean bias, root mean squared error, estimator variance, and confidence interval coverage, while secondary experiments assess whether rankings remain stable across varying sample sizes and data dimensionalities. This study provides the first unified, simulation-based comparison of these debiasing methods under identical conditions, offering empirical evidence on the severity of propagating prediction error and principled guidance for applied researchers on which corrective approach to apply.

Kata Kunci : two-stage research framework, propagating prediction error, debiasing methods, causal inference, machine learning, convolutional neural network, partially linear regression