Komparasi Metode Automasi dan Hybrid pada Pengujian Aplikasi Mobile WebRTC Menggunakan Appium

Gabriela Anggerita Jasmin, Divi Galih Prasetyo Putri, S.Kom., M.Kom., Ph.D.

2023 | Tugas Akhir | D4 Teknologi Perangkat Lunak

Hadirnya teknologi informasi di tengah masyarakat membuat perubahan pada cara manusia berkomunikasi dan berinteraksi satu sama lain. Dengan adanya teknologi tersebut, seseorang dapat dengan mudah berkomunikasi dengan orang lain meskipun terpisahkan jarak yang jauh secara virtual. Selain untuk bertukar kabar, teknologi tersebut juga banyak dimanfaatkan untuk melakukan konsultasi secara virtual. Konsultasi virtual dapat diwujudkan dengan membuat sebuah aplikasi yang di dalamnya terdapat fitur panggilan video. Fitur-fitur tersebut dapat dicapai dengan penerapan teknologi WebRTC (Web Real-Time Communication) yang memungkinkan dilakukannya komunikasi audio, visual, dan data secara real-time. Aplikasi yang baik merupakan aplikasi yang mempunyai sedikit bug atau error, termasuk pada aplikasi yang menerapkan teknologi WebRTC yang cukup menantang untuk diuji karena sistem alur kerja yang cukup kompleks.

Pengujian perangkat lunak dapat dilakukan dengan metode manual atau automasi. Pengujian manual dilakukan secara langsung menggunakan dua perangkat untuk menguji teknolgi WebRTC yang diterapkan. Pengujian automasi dilakukan menggunakan Appium yang bersifat open-source. Pada penelitian ini dilakukan studi perbandingan untuk menentukan metode pengujian yang paling tepat diterapkan pada aplikasi WebRTC. Perbandingan dilakukan terhadap kedua metode pengujian tersebut. Penelitian ini juga melakukan pengujian hybrid yang menggabungkan metode manual dan automasi.  Pengujian dilakukan dari secara end-to-end dari tahap pertama mebuka aplikasi hingga penggunaan fitur dengan tujuan untuk memastikan seluruh sistem aplikasi dapat berfungsi secara optimal dan tidak ada masalah yang terlewatkan selama proses pengujian berlangsung.

Hasil komparasi terhadap metrik test coverage, time, dan test case effectiveness menunjukkan bahwa metode automasi lebih baik dibandingkan dengan metode hybrid  berdasarkan metriks time karena membutuhkan waktu yang lebih singkat. Berdasakan metriks test coverage dan test case effectiveness metode hybrid lebih baik dibandingkan metode automasi karena dapat mencakup lebih banyak test case. Kesimpulan yang dapat ditarik adalah metode hybrid lebih baik dibandingkan dengan metode automasi karena dengan perbedaan waktu yang tidak terlalu signifikan, metode hybrid miliki kinerja yang lebih efektif dan memiliki cakupan pengujian yang lebih luas.

The presence of information technology in society has brought about changes in the way humans communicate and interact with each other. With the availability of this technology, individuals can easily communicate with others, even when physically separated by a significant distance, through virtual means. In addition to news exchange, this technology is widely utilized for virtual consultations. Virtual consultations can be realized by creating an application that includes video calling features. These features can be achieved through the implementation of WebRTC (Web Real-Time Communication) technology, which allows for real-time audio, visual, and data communication. A good application is one that has few bugs or errors, including applications that implement the complex workflow of WebRTC, which poses challenges for testing.

Software testing can be performed through manual or automated methods. Manual testing is carried out directly using two devices to test the implemented WebRTC technology. Automated testing is conducted using the open-source tool Appium. This study compares the two testing methods to determine the most suitable approach for testing WebRTC applications. The comparison is conducted between the two testing methods, and hybrid testing combining manual and automated methods is also performed. The testing is done end-to-end, from the initial stage of opening the application to the utilization of features, with the aim of ensuring that the entire application system functions optimally and no issues are overlooked during the testing process.

The comparison results based on the metrics of test coverage, time, and test case effectiveness indicate that the automated method is better than the hybrid method in terms of time metrics because it requires less time. However, based on test coverage and test case effectiveness metrics, the hybrid method is superior to the automated method as it can cover a larger number of test cases. The conclusion drawn is that the hybrid method is better than the automated method because, with a relatively insignificant difference in time, the hybrid method demonstrates more effective performance and has broader test coverage.

Kata Kunci : End-to-End, Appium, Pengujian, Testing, WebRTC, Automasi, Hybrid