Detection differential item functioning on language achievement test administered as part of the entrance examination at State Institute of Islamic Studies (IAIN Sunan Kalijaga Yogyakarta) in 2003/2004 Academic Year using item response theory

THAN, Aung Htwe, Prof.Dr. Sumadi Suryabrata, MA.Ed.S

2004 | Tesis | S2 Psikologi

Penelitian ini mempunyai tujuan untuk menentukan kualitas psikometris tes prestasi bahasa yang diselenggarakan sebagai bagian dari ujian masuk pada Institut Agama Islam Negeri ( IAIN) Sunan Kalijaga Yogyakarta pada tahun akademik 2003/2004. penelitian ini juga bertujuan untuk mengidentifikasi keberfungsian aitem differensial berdasarkan jender pada aitem-aitem tes dengan menggunakan teori respons butir. Subjek pada penelitian ini merupakan sample acak 1000 calon mahasiswa yang mengikuti ujian masuk IAIN pada tahun akademik 2003/2004. Sample terdiri dari 500 peserta ujian pada setiap kelompok jender. Tes prestasi bahasa IAIN terdiri dari tiga subtes, yaitu, bahasa Indonesia, bahasa Arab dan bahasa Inggris. Kualitas psikometris dari setiap subtes dievaluasi dengan menggunakan model tiga parameter logistik. Analisis kefungsian aitem differensial dilakukan dengan menggunakan metode perbandingan model tiga parameter logistik, sedangkan besaran efek keberfungsian aitem differensial ditaksir pada setiap aitem yang menunjukkan tanda keberfungsian aitem differensial yang signifikan. Hasil penelitian menunjukkan bahwa 58% aitem tes prestasi bahasa cocok dengan model tiga parameter logistik, sedangkan 42% tidak cocok dengan model tiga parameter logistik. Peluang tebakan dapat diabaikan pada setiap subtes. Beberapa aitem yang cocok dengan model sangat sulit dan tidak dapat membedakan antara calon mahasiswa yang berkemampuan tinggi dengan calon mahasiswa yang berkemampuan rendah secara baik, oleh karena itu, aitem-aitem tersebut perlu direvisi untuk mendapatkan kesukaran aitem dan daya discriminasi yang optimal. Hasil analisis aitem menunjukkan bahwa tes prestasi bahasa IAIN belum memenuhi kualitas aitem yang baik. Beberapa aitem pada subtes bahasa Indonesia dan subtes bahasa Arab menganduang keberfungsian aitem differensial berdasarkan jender. Tidak ditemukan sumber yang jelas pada isi aitem yang memerlukan pengertian atau pengetahuan khusus untuk suatu kelompok jender tertentu. Penelitian selanjutnya disarankan untuk memahami sumber-sumber yang mendasari keberfungsian aitem differensial. Revisi juga disarankan pada aitem-aitem DIF yang teridentifikasi dalam penelitian ini.

The present study is intended to examine the psychometric quality of language achievement test administered as part of the entrance examination at State Institute of Islamic Studies (IAIN Sunan Kalijaga Yogyakarta) in 2003/2004 academic year, and to identify gender-based differential item functioning (DIF) on test items using item response theory. The subjects of the study were a random sample of 1000 candidates who have taken the IAIN entrance examination in 2003/2004 academic year. The sample was composed of 500 examinees in each gender group. IAIN’s language achievement test consisted of three subtests: Indonesian, Arabic, and English. Psyc hometric quality of each subtest has been evaluated by using three-parameter logistic model. DIF analyses were performed by using 3PL model comparison method, and DIF effect size measures were figured out for each item showing significant DIF flag. The findings revealed that 58% of the language achievement test items fitted the 3PL model and 42% did not. The guessing effect was negligible in each subtest. Some items that fitted the model were very hard and did not discriminate well, and thus need to be modified to attain optimal item difficulty and discrimination power. The findings from item analyses implied that IAIN’s language achievement test was questionable as to its item quality. Some of Indonesian language subtest items were saturated with gender DIF. Some of Arabic language subtest items have also been identified as showing gender DIF. No apparent source was found in the item content that required knowledge or understanding specific to one gender group in these items. Future research is recommended to understand the sources that account for the presence of DIF. Revision is suggested for the DIF items identified in this study.

Kata Kunci : Psikometri,Tes Prestasi Bahasa,Teori Respon Butir,Aitem Diferensial, Language Achievement Test, Differential Item Functioning, Item Response Theory