INTISARI Latar Belakang: Keterampilan pemeriksaan tanda-tanda vital dapat dievaluasi menggunakan Objective Structured Clinical Examinations (OSCE) dimana nantinya rater menilai menggunakan checklist OSCE. Akan tetapi checklist yang baik perlu dilakukan uji reliabilitas supaya dapat melihat kualitas dari checklist tersebut. Tujuan Penelitian: Untuk mengukur nilai interrater reliability dari checklist penilaian pemeriksaan tanda-tanda vital di Program Studi Ilmu Keperawatan Universitas Gadjah Mada. Metode: Penelitian ini merupakan penelitian deskriptif kuantitatif non eksperimental dengan menggunakan rancangan cross-sectional. Dua orang rater menilai 92 mahasiswa saat OSCE berlangsung, dengan menggunakan checklist keterampilan pemeriksaan tanda-tanda vital dalam waktu yang sama. Hasil dianalisis menggunakan koefisien Kappa dan Percent Agreement (PA) untuk melihat konsistensi kesepakatan antar rater. Hasil: Checklist penilaian keterampilan Pemeriksaan tanda-tanda vital memiliki nilai Kappa 0.427 dan PA 82.60%. Dari total 21 item hasilnya terbagi menjadi 4 kategori yaitu, kategori I terdapat 8 item Kappa dan PA dapat diterima, kategori II terdapat 3 item dengan Kappa diterima PA tidak diterima, kategori III terdapat 6 item dengan Kappa tidak diterima PA diterima, dan kategori IV terdapat 4 item dengan Kappa tidak diterima dan PA tidak diterima. Kesimpulan: Checklist keterampilan pemeriksaan tanda-tanda vital secara keseluruhan di PSIK FKKMK UGM adalah dalam kategori PA diterima menurut nilai PA nya, dan kategori �moderate� atau sedang menurut nilai kappa nya, namun perlu dilakukan perbaikan pada beberapa item untuk meningkatkan reliabilitas checklist tersebut.

ABSTRACT Background: Vital sign examination skill can be assessed by using Objective Structured Clinical Examinations (OSCE) which would in turn, rater assess the OSCE checklist. However, a reliability test must be undertaken on the checklist to identify its quality. Object: To measure the value of interrater reliability of the assessment checklist of vital sign examination at the School of Nursing Universitas Gadjah Mada. Method: This research is non-experimental descriptive quantitative using cross-sectional design. Two raters assessed 92 students during the course of OSCE, using checklist vital sign examination skill concurrently. The results of analysis were analyzed using Kappa coefficient and Percent Agreement (PA) to identify the consistency of interrater agreement. Result: The evaluation checklist of vital sign examination skill has Kappa value of 0.427 and PA 82.60%. Out of a total 21 items, the results were divided into 4 categories as follows, category I consists of 8 items with acceptable Kappa and PA, category II consists of 3 items with acceptable Kappa and unacceptable PA, category III consists of 6 item with unacceptable Kappa and acceptable PA, and category IV consists of 4 items with unacceptable Kappa and unacceptable PA. Conclusion: In overall, the checklist of vital sign examination skill at the PSIK FKKMK UGM is in the PA accepted category according to its PA value, and moderate according to its Kappa value, however some revisions to particular items are necessary to improve the reliability of checklist.

Kata Kunci : Kata kunci: Checklist, Interrater Reliability, OSCE, Pemeriksaan Tanda-Tanda Vital