Pengaruh Variabilitas Latar Belakang Penguji OSCE Terhadap Penilaian Keterampilan Klinis

OSCAR GILANG P, Prof. dr. Gandes Retno Rahayu, M.Med.Ed, Ph.D; dr. Rachmadya Nur Hidayah, M.Sc, Ph.D

2020 | Tesis | MAGISTER ILMU PENDIDIKAN KEDOKTERAN DAN KESEHATAN

Latar Belakang: Penguji Objective Structured Clinical Examination (OSCE) berasal dari berbagai latar belakang. Variabilitas latar belakang ini dapat mempengaruhi cara mereka menilai peserta ujian.. Penelitian ini bertujuan untuk memahami efek variabilitas latar belakang yang mempengaruhi kesepakatan penilaian penguji pada OSCE keterampilan prosedural. Metode: Sebuah penelitian metode campuran dilakukan dengan desain explanatory sequential. Penguji OSCE (n = 64) di Fakultas Kedokteran Universitas Kristen Duta Wacana (FK-UKDW) berpartisipasi untuk menilai dua video kompetensi Resusitasi Jantung-Paru (RJP) untuk memperoleh tingkat persetujuannya dengan menggunakan Fleiss Kappa. Satu video menggambarkan RJP sesuai dengan pedoman penilaian dan lainnya digambarkan RJP yang tidak sesuai dengan pedoman penilaian. Survei primer, prosedur RJP, dan perilaku profesional dinilai. Untuk mengkonfirmasi hasil penilaian secara kualitatif, wawancara mendalam juga dilakukan. Data kuantitatif dianalisis secara statistik dengan Microsoft Excel 365 dan IBM SPSS 25. Data kuantitatif dianalisis dengan analisis tematik untuk menjelaskan data kuantitatif. Hasil: Lima puluh satu penguji (79,7%) menyelesaikan formulir penilaian. Dari 18 kategori latar belakang, terdapat kesepakatan yang baik (> 60%) dalam: survei primer (4 kelompok), prosedur RJP (15 kelompok), perilaku profesional (7 kelompok), dan skala rating global (10 kelompok). Dalam wawancara mendalam terungkap beberapa faktor personal yang terlibat dalam keputusan penilaian: 1) Penguji menggunakan berbagai panduan penilaian dalam menilai keterampilan; 2) Penguji menggunakan cara pembobotan kompetensi yang berbeda; 3) Penggunaan kesimpulan sendiri dari penguji dapat mempengaruhi penguji keputusan; yang dapat mengarahkan penguji untuk menetapkan standar pribadi Kesimpulan: Latar belakang penguji OSCE yang memungkinkan memberikan persetujuan yang baik adalah jenis kelamin perempuan, pendidikan sarjana , kurang berpengalaman dalam memeriksa OSCE, dan penguji non-klinisi. Sedangkan diketahui dalam penelitian ini bahwa durasi praktik sebagai klinisi tidak mempengaruhi hasil penilaian keterampilan klinis mereka untuk keterampilan klinis tertentu yang memiliki prosedur kaku. Pengaruh pelatihan penguji OSCE terhadap hasil persetujuan penilaian dalam penelitian ini belum mampu menggambarkan representasi latar belakang penguji dalam memberikan penilaian yang akurat.

Background: Objective Structural Clinical Examination (OSCE) examiners come from various backgrounds. This background variability can influence the way they assess exam participants. This study aims to understand the effect of background variability that affects examiners' agreement scores in OSCE procedural skills. Method: Mixed method research was carried out with a explanatory sequential design. OSCE examiners (n = 64) at the Faculty of Medicine at Duta Wacana Christian University (FoM-DWCU) participated to assess two Cardio-Pulmonary Resuscitation (CPR) competency videos to obtain approval levels using Fleiss Kappa. One video depicts CPR according to performance guidelines and the other describes CPR not in accordance with performance guidelines. Primary surveys, CPR procedures, and professional behavior were assessed. To confirm the results of the qualitative assessment, in-depth interviews were also conducted. Quantitative data was analyzed statistically with Microsoft Excel 365 and IBM SPSS 25. Quantitative data was analyzed by thematic analysis to explain the data. Results: Fifty-one examiners (79.7%) filled out the assessment form. From 18 background categories, there was good agreement (> 60%) in the primary survey (4 groups), CPR procedures (15 groups), professional behavior (7 groups), and global rating scale (10 groups). In-depth interviews revealed several personal factors involved in the decision assessment: 1) Examiners used different references in assessing skills; 2) Examiners use various methods in weighting competencies; 3) The use of the examinees' inference alone can influence the examiner's decision; which can encourage examiners to set personal standards. Conclusion: The background of OSCE examiners that allows giving good agreement is female gender, undergraduate education, lack of experience in examining OSCE, and non-doctor examiners. Though it is known in this study that the duration of practice as a clinician does not affect the results of their clinical skills assessment for certain clinical skills that have rigid procedures. The effect of OSCE examiner's training on the results of the assessment agreement in this study has not been able to describe the background of the examiner's representation in providing an accurate assessment.

Kata Kunci : penilaian OSCE, variabilitas latar belakang, persetujuan antarpenguji, faktor perilaku personal