Heuristic Indicators untuk Menilai Usability E-Learning dan Black Box Functionality Testing

Ranty Deviana Siahaan, Dr. Sri Suning Kusumawardani S.T., M.T; Dr. Indriana Hidayah S.T., M.T.

2023 | Tesis | S2 Teknologi Informasi

Sejak terjadinya Covid-19 yang melanda seluruh dunia, pengembangan e-Learning oleh berbagai instansi pendidikan menjadi hal yang sangat utama, salah satunya adalah SMA Unggul Del (SUD). Namun, karena keterbatasan waktu, e-Learning berbasis Moodle milik SUD belum pernah dievaluasi, sehingga cukup banyak masukan satu demi satu dari para pengguna terkait tampilan serta fitur yang ada pada Moodle.  Hal tersebut juga memberikan kesulitan pada Tim pengembang dalam melakukan perbaikan untuk selanjutnya.

Penelitian ini bertujuan untuk menyusun indicator heuristic khusus e-Learning berdasarkan penerapan penelitian sebelumnya, sehingga mempertimbangkan instructional design, motivational learning, dan course workspace design suatu e-Learning. Indicator yang disusun akan diterapkan pada e-Learning berbasis Moodle milik SUD. Dilakukan juga evaluasi terhadap aspek fungsionalitas e-Learning dengan menggunakan kolaborasi dua (2) teknik black box, yaitu equivalence partitioning (EP), dan graph-based. Sehingga, evaluasi akan menghasilkan permasalahan yang lebih detail karena dilakukan pada ke-2 aspek penting kualitas suatu perangkat lunak secara bersamaan. 

Hasil yang diperoleh adalah rata-rata tingkat kepentingan 23 indicator heuristic yang disusun termasuk ke dalam skala penting pada suatu e-Learning, yaitu 1 indicator termasuk netral, 11 indicator termasuk penting, dan 11 indicator lainnya termasuk sangat penting. Ke-23 indicator tersebut menghasilkan 76 issues usability pada role siswa, dan 50 issues pada role guru. Kolaborasi teknik EP dan graph-based pada evaluasi fungsional e-Learning juga menemukan dua (2) masalah fungsi yang gagal, dan 8 masalah interface untuk role siswa. Serta dua (2) masalah fungsi yang gagal, 20 masalah interface, dan satu (1) inisialisasi dan kesalahan terminasi untuk role guru. Selain itu, diketahui juga bahwa pemenuhan kebutuhan role siswa sudah tergolong baik yaitu sebesar 0,89. Sementara, pemenuhan kebutuhan role guru masih tergolong buruk yaitu sebesar 0,73. Evaluasi yang dilakukan pada penelitian ini terbukti menghasilkan defect yang lebih beragam serta list rekomendasi perbaikan sesuai dengan apa yang telah dikembalikan kepada tim pengembang, dan penelitian selanjutnya.

Since the occurrence of Covid-19, which hit the whole world, the development of e-Learning by various educational institutions has become significant, one of which is SMA Unggul Del (SUD). However, due to time constraints, SUD's Moodle-based e-Learning had never been evaluated, so there were many inputs from users regarding Moodle's appearance and features. That also gave difficulties to the development team in making improvements in the future.

This study aims to develop e-Learning specific heuristic indicators based on the application of previous research to consider instructional design, motivational learning, and course workspace design of e-Learning. The prepared indicators will be applied to SUD's Moodle-based e-Learning. The functional aspects of e-Learning were evaluated using the collaboration of two (2) black box techniques: equivalence partitioning (EP) and graph-based. Thus, the evaluation will produce more complex problems because it is simultaneously carried out on both important aspects of software quality.

The results obtained are the average level of importance of the 23 heuristic indicators arranged according to the importance scale of e-Learning. One indicator is considered neutral, 11 indicators are considered important, and 11 other indicators are considered very important. The 23 indicators produce 76 usability issues in the student role and 50 in the teacher role. The collaboration of EP and graph-based techniques in e-Learning functional evaluation also found two (2) failed function problems and eight interface problems for student roles. As well as two (2) failed function issues, 20 interface issues, and one (1) initialization and termination error for the teacher role. In addition, it is also known that the fulfillment of student role needs is quite good, namely 0.89. Meanwhile, fulfilling the needs of the teacher's role still needs improvement at 0.73. The evaluation carried out in this study has proven to produce a more diverse range of defects and a list of recommendations for improvement that can be used as a reference for improvement and further research.

Kata Kunci : Usability Evaluation, Functional Testing, E-Learning, Moodle, Heuristic Evaluation, Black Box, Graph-based, Equivalence Partitioning