EKSPLORASI FAKTOR KONTEN SITUS WEB DALAM KONTEKS EVALUASI INFORMASI DENGAN PENDEKATAN METODE THINK-ALOUD PROTOCOL STUDI KASUS PUSTAKAWAN AKADEMIK INDONESIA

Umi Proboyekti, Prof. Ir. P. Insap Santosa, M.Sc., Ph.D., IPU; Prof. Dr. Ir. Ridi Ferdiana, S.T., M.T. IPM

2025 | Disertasi | S3 Teknik Elektro

Evaluasi informasi adalah kegiatan individu menilai suatu informasi berdasarkan standar atau kriteria tertentu. Salah satu strategi adalah menggunakan daftar cek kriteria. Daftar cek kriteria yang umum diajarkan di institusi pendidikan terdiri dari kebaruan informasi, relevansi informasi, sumber informasi, akurasi informasi, dan tujuan informasi. Dalam praktiknya, pengguna menentukan kriteria evaluasinya sendiri terlepas dari pengetahuan dari strategi evaluasi yang diajarkan. Perbedaan kriteria dapat disebabkan oleh kemampuan, pengalaman, atau perbedaan individu dalam interpretasi komponen-komponen yang menonjol. Para peneliti menyelidiki perilaku informasi untuk mengembangkan strategi evaluasi informasi dengan pendekatan eksplorasi faktor-faktor evaluasi informasi dan pengamatan analisis cara kelompok individu melakukan evaluasi informasi. Penelitian ini mengeksplorasi empat faktor konten situs web yaitu Clarity, Likeability, Informativeness dan Credibility (CLIC),  yang telah terdefinisi dan teruji mempengaruhi persepsi subjektif namun belum teruji mempengaruhi persepsi percaya dalam proses evaluasi informasi. Persepsi percaya merupakan faktor yang menentukan penggunaan informasi. Pembentukan indikator persepsi percaya dan penggunaan informasi dalam konteks evaluasi informasi merupakan hasil awal penelitian ini. Pengambilan data kuantitatif dari pustakawan dan mahasiswa dilakukan melalui kuesioner CLIC. Pengambilan data kualitatif pustakawan dilakukan menggunakan metode Concurrent Think-Aloud Protocol, empat situs web informasional, dan skenario evaluasi informasi. Pengambilan data tersebut menghasilkan verbalisasi dari partisipan. Data kualitatif mahasiswa diperoleh melalui wawancara tentang faktor yang berpengaruh selama evaluasi informasi terhadap empat situs web informasional sesuai skenario. Pengukuran dan pengujian relasi dengan PLS-SEM pada aplikasi SmartPLS menggunakan data kuantitatif dari pustakawan dan mahasiswa. Pengukuran dan pengujian relasi dilakukan pada relasi persepsi percaya dan penggunaan informasi, kemudian pada relasi CLIC dan persepsi percaya. Hasil pengukuran dan pengujian relasi menjadi dasar eksplorasi faktor CLIC. Eksplorasi dilakukan dengan pengkodean verbalisasi. Pengkodean verbalisasi menerapkan teknik top-down dengan faktor Clarity, Likeability, Informativeness, dan Credibility, serta teknik bottom-up dengan faktor temuan. Pengkodean menghasilkan verbalisasi terkodekan. Identifikasi indikator pada verbalisasi terkodekan dengan dukungan QDA-Miner Lite menghasilkan indikator potensial untuk faktor Clarity, Informativeness, dan Credibility. Verbalisasi yang telah dikodekan kemudian dikategorikan dengan empat kategori verbalisasi. Verbalisasi terkodekan dan terkategorikan ini berperan sebagai dataset untuk menghasilkan model klasifikasi multikelas dengan metode Fine-Tuning dengan pretrained IndoBERT dan IndoBERTTWEET. Sementara data hasil wawancara mahasiswa mengungkapkan faktor-faktor yang berpengaruh selama evaluasi informasi.  Eksplorasi faktor CLIC menghasilkan beberapa temuan dalam konteks evaluasi informasi. Penelitian ini berhasil mendefinisikan persepsi percaya dan penggunaan informasi dalam konteks evaluasi informasi. Definisi persepsi percaya dan penggunaan informasi adalah indikator-indikator yang reliabel dan valid. Hasil pengukuran membuktikan bahwa persepsi percaya signifikan mempengaruhi penggunaan informasi. Faktor informativeness mempengaruhi persepsi percaya pustakawan dan mahasiswa. Verbalisasi pustakawan menghasilkan empat faktor temuan yaitu Penulis/Penyedia, Kebaruan, Fitur, dan Pembanding. Identifikasi indikator menghasilkan indikator-indikator potensial untuk credibility terkait kualitas sumber informasi, indikator potensial untuk informativeness dan clarity. Pengkategorian verbalisasi dengan empat kategori verbalisasi untuk pengujian usabilitas berhasil menerapkan tiga dari empat kategori: penjelasan, prosedur, dan pengamatan. Kategori temuan yang tervalidasi adalah Pembandingan. Verbalisasi terkodekan dengan dua tipe label: delapan faktor dan empat kategori menjadi dataset pengembangan model klasifikasi. Pengembangan model klasifikasi multikelas dengan metode Fine-Tuning pada pre-trained IndoBERT menghasilkan akurasi di atas 80% untuk empat kategori dan 63% untuk delapan faktor. Model klasifikasi multikelas dengan dua label tersebut merupakan alat pengkodean verbalisasi TAP kegiatan evaluasi informasi pengguna ahli pada eksplorasi berikutnya.

Information evaluation is the process by which individuals assess information based on specific standards or criteria. One common strategy is the use of a checklist of evaluation criteria. The criteria checklists typically taught in educational institutions include information novelty, information relevance, information source, information accuracy, and information purpose. In practice, users determine their own evaluation criteria regardless of their knowledge of the taught evaluation strategies. Differences in evaluation criteria may arise due to variations in skills, experiences, or individual interpretations of salient components. Researchers investigate information behavior to develop evaluation strategies by exploring evaluation factors and analyzing how different groups of individuals evaluate information. This study explores four website content factors—Clarity, Likeability, Informativeness, and Credibility (CLIC)—which have been defined and validated as influencing subjective perception but have not yet been tested for their impact on trust perception in the information evaluation process. Trust perception is a key factor in determining information use. The development of trust perception and information use indicators within the context of information evaluation represents the initial outcome of this study. Quantitative data collection from librarians and students was conducted using the CLIC questionnaire. Qualitative data collection from librarians was carried out using the Concurrent Think-Aloud Protocol, four informational websites, and an information evaluation scenario. This data collection process generated verbalizations from participants. Qualitative data from students were obtained through interviews regarding the factors influencing their information evaluation of the four informational websites based on the given scenario. Measurement and relationship testing using PLS-SEM in the SmartPLS application were conducted on quantitative data from librarians and students. The analysis examined the relationship between trust perception and information use, followed by the relationship between CLIC factors and trust perception. The findings from these analyses served as the foundation for further exploration of CLIC factors. Exploration was conducted through verbalization coding. The coding process applied a top-down approach based on the factors of Clarity, Likeability, Informativeness, and Credibility, as well as a bottom-up approach to identify emergent factors. The coding process produced categorized verbalizations. Indicator identification from the coded verbalizations, supported by QDA Miner Lite, resulted in potential indicators for Clarity, Informativeness, and Credibility. The coded verbalizations were then classified into four categories of verbalization. The coded and categorized verbalizations served as a dataset for developing a multiclass classification model using Fine-Tuning with pre-trained IndoBERT and IndoBERTTWEET. Meanwhile, interview data from students revealed various factors influencing their information evaluation process. The exploration of CLIC factors yielded several findings in the context of information evaluation. This study successfully defined trust perception and information use in the context of information evaluation. The definitions of trust perception and information use were supported by reliable and valid indicators. The measurement results confirmed that trust perception significantly influences information use. Among the CLIC factors, Informativeness was found to influence the trust perception of both librarians and students. Librarians' verbalizations identified four emergent factors: Author/Provider, Novelty, Features, and Comparison. Indicator identification revealed potential indicators for Credibility related to source quality, as well as potential indicators for Informativeness and Clarity. The categorization of verbalizations into four verbalization categories for usability testing successfully applied three of the four categories: Explanation, Procedure, and Observation. The validated emergent category was Comparison. The coded verbalizations were labeled using two label types—eight factors and four categories—forming a dataset for classification model development. The multiclass classification model, developed using Fine-Tuning on pre-trained IndoBERT, achieved an accuracy of over 80% for four categories and 63% for eight factors. This multiclass classification model, using the two labeling types, serves as a tool for coding think-aloud protocol (TAP) verbalizations of expert users' information evaluation activities in future explorations.

Kata Kunci : Clarity, likeability, informativeness, credibility, information evaluation, academic librarians, trust perception, information use, multi-class classification