Analisis Penggunaan Rasio Cochran-Weiss-Shanteau (CWS) sebagai Penentu Tingkat Expertise

FARADILLA SHANDRADEVI, Nur Aini Masruroh, ST., M.Sc., Ph.D.

2018 | Skripsi | S1 TEKNIK INDUSTRI

Proses identifikasi expert pada pengambilan keputusan merupakan suatu hal yang penting dalam upaya meningkatkan kualitas hasil keputusan. Namun penentuan tingkat expertise pada bidang yang tidak memiliki gold standard bukanlah suatu hal yang mudah. Penentuan expert berdasarkan pengalaman, reputasi, sertifikasi, maupun pengakuan sosial yang selama ini digunakan masih memiliki beberapa keterbatasan dan kekurangan. Sebuah metode kemudian dikembangkan untuk menentukan tingkat expertise pada bidang yang tidak memiliki gold standard. Rasio Cochran-Weiss-Shanteau (CWS) merupakan metode statistik yang dapat digunakan untuk menentukan tingkat expertise seseorang berdasarkan kemampuan membedakan kasus (diskriminasi) dan konsistensi pada pengambilan keputusan. Meskipun rasio CWS merupakan metode yang potensial dan menjanjikan, metode ini pun masih memiliki beberapa keterbatasan. Penelitian ini bertujuan untuk menguji kemampuan rasio CWS dalam menentukan tingkat expertise dengan keterbatasan-keterbatasan yang dimiliki. Penelitian ini menggunakan 60 responden yang terpisah menjadi dua kelompok. Sejumlah 30 responden merupakan expert di bidang search and rescue (SAR), sedangkan 30 responden lainnya merupakan non-expert di bidang SAR. Responden diminta untuk memberikan penilaian terhadap beberapa kasus mengenai pencarian orang hilang dalam pendakian. Replikasi pertanyaan dilakukan sebanyak dua kali. Pada replikasi kedua, responden diberikan informasi tambahan untuk mengetahui konsistensi jawaban responden. Hasil penelitian menunjukkan bahwa rasio CWS mampu membedakan performa kelompok expert secara signifikan dengan kelompok non-expert baik dari segi diskriminasi, inkonsistensi, maupun rasio CWS. Akan tetapi ketika dilakukan pengujian di antara (decision maker) DM expert, hasil menunjukkan bahwa tidak terdapat hubungan yang signifikan antara latar belakang DM expert (lama pengalaman, jumlah operasi yang telah diikuti, dan jumlah sertifikat) dengan rasio CWS. Hal lain yang patut dicermati adalah munculnya nilai diskriminasi dan konsistensi tinggi yang tidak sesuai aturan atau bahkan dengan respon yang tidak tepat. Hal ini tentu dapat menyebabkan munculnya nilai rasio CWS yang tinggi pada responden yang bukan seorang expert.

Expert identification in decision making is an important matter in order to achieve a better decision. However, expert identification in a field that does not have a gold standard is not an easy thing. All this time, expert is often identified based on their experience, reputation, certification, and social acclaim. However, this method still have some lacks and limitations. A method is developed to determine the level of expertise in a field that does not have a gold standard. Cochran-Weiss-Shanteau (CWS) index is a statistical method that can be used to determine the level of expertise by using someone’s ability to discriminate and consistency in decision making. Though CWS index is a potential and promising method, this method still has some limitations. This study aims to test the ability of CWS index in determining the level of expertise with its limitations. There are 60 participants that consist of 30 search and rescue (SAR) experts and 30 non-experts. Participants were asked to assess some cases regarding search and rescue operation of missing people. All of the cases were repeated with additional information to assess the consistency of participants. The results of this study show that CWS index can differ significantly between expert and non-expert group. The same goes to discrimination and inconsistency value. However, when CWS index is tested among expert group, the results show that there are no significant relationship between expert background (experience, number of operation, and number of certificate) and CWS index. Another thing that must be noticed is the emergence of high discrimination and consistency value that do not follow the right rules or even come up with the wrong answer. This can certainly lead to the emergence of high CWS index from non-expert participants.

Kata Kunci : Pengambilan keputusan, expertise, rasio Cochran-Weiss-Shanteau (CWS), search and rescue (SAR).