Predicting Website Complexity Based on Physiological Signals Using Convolutional Neural Network-Based Method

KARINA DITA M, Ir. Rini Dharmastiti, M.Sc., Ph.D; Fitri Trapsilawati, S.T., Ph.D

2020 | Tesis | MAGISTER TEKNIK INDUSTRI

E-commerce telah berkembang secara cepat disebabkan oleh meningkatnya penggunaan internet. Masyarakat Taiwan lebih memilih webrooming daripada showrooming. Hal ini merupakan suatu peluang bagi perusahaan untuk mengembangkan dan meningkatkan kualitas halaman website. Salah satu aspek yang mempengaruhi kepuasan pengguna adalah kompleksitas visual dari halaman web. Evaluasi dari kompleksitas website menjadi sangat penting, terutama mengenai apa yang dirasakan pengguna terkait kompleksitas suatu halaman web. Untuk menilai secara objektif menggunakan sinyal fisiologis, beberapa algoritma dibandingkan dengan pengukuran performansi. Algorithma Convolutional Neural Network (CNN) digunakan dalam metode ini dikarenakan kemampuannya dalam feature extraction. Berbagai macam aplikasi CNN dalam time series dapat ditemui dalam pendeteksi suara, prediksi perdagangan keuangan, dan pendeteksi aktivitas manusia. Keberhasilan aplikasi CNN mendorong penelitian ini menggunakan data berbasis time series dari sinyal fisiologis manusia untuk memperbaiki evaluasi secara subjektif kompleksitas website menggunakan algoritma berbasis CNN. Algoritma berbasis CNN digunakan untuk memprediksi tingkat kompleksitas website yang berbeda (rendah, sedang, dan tinggi) berdasarkan sinyal fisiologis manusia. Beberapa parameter algoritma CNN dapat diatur untuk memperoleh performansi yang lebih baik, seperti ukuran kernel, jumlah convolution layer, jumlah filter, dan panjang time series. Ukuran performansi, seperti akurasi, presisi, recall, nilai F1, loss, dan Area Under Receiver Operating Characteristic (ROC) Curve (AUC), digunakan untuk mengevaluasi performansi algoritma. Penelitian ini menggunakan k-folds cross validation berulang berbasis pengguna untuk replikasi data time series dikarenakan hanya terdapat satu dataset. Untuk membandingkan beberapa algoritma, uji repeated measure ANOVA dan Friedman digunakan untuk melakukan analisis statistik. Hasil dari penelitian ini menunjukkan bahwa CNN dapat digunakan untuk memprediksi kompleksitas website. Selain itu, terdapat perbedaan signifikan pada waktu training dan probabilitas loss di antara ke-empat algoritma: Dilated CNN, Depthwise Separable CNN, LeNet, dan ResNet. LeNet sebagai algoritma paling sederhana, menghasilkan loss lebih rendah. LeNet juga menghasilkan waktu training yang lebih singkat diantara yang algoritma yang lain. Selain itu, ukuran kernel yang kecil lebih baik digunakan pada algoritma CNN untuk memperoleh informasi penting dalam data time series. Penelitian ini memberikan model prediksi untuk manajer atau perancang website untuk mengevaluasi kompleksitas suatu website yang bertujuan untuk mencapai tingkat kepuasan konsumen yang tinggi.

The e-commerce has rapidly grown due to increasing the use of internet. Taiwanese people prefer to do webrooming than to do showrooming. It becomes an opportunity for companies to develop and improve their web page. One of the aspects affecting user satisfaction is about the visual complexity of web page. The evaluation of website complexity becomes more important, especially about what users perceive. To assess objectively using physiological signals, some algorithms are compared in terms of performance measures. The state-of-art method, Convolutional Neural Network, is used in this method, as it is very powerful for feature extraction. Various applications of CNN in time series domain can be found in speech recognition, financial trading prediction, and human activity recognition. The successful applications motivate this study to use the time series data from human physiological signals to improve the subjective evaluation toward website complexity using CNN-based algorithms. The algorithms are used to predict the level of website complexity in three different levels (low, medium, and high) based on human physiological signals. Several parameters in CNN algorithm can be adjusted to obtain better performance, such as kernel size, the number of convolution layers, the number of filters, and time series length. The performance metrics, such as accuracy, precision, recall, F1-score, loss, and AUC, are used to evaluate the algorithms’ performance. This study uses a user-based repeated k-folds cross validation to replicate the time series data since there is only one available dataset. In order to compare several algorithms, repeated measure ANOVA and Friedman test are used to do a statistical analysis. The result of this study shows that CNN can be used to predict website complexity. Moreover, there are statistically significant differences in training time and loss probability among four algorithms: Dilated CNN, Depthwise Separable CNN, LeNet, and ResNet. LeNet, as the simplest algorithm, yields better performance in terms of loss. LeNet also has the lowest training time among other algorithms since it has the smallest parameter. Furthermore, it is better to use the small kernel size than the large kernel size in CNN algorithm in order to extract important information from time series data. The findings provide prediction models for website managers or designers to evaluate website in term of its visual complexity in order to achieve high users’ satisfaction.

Kata Kunci : Website Complexity, Website Usability, Human Physiological Signals, Convolutional Neural Network, Time Series Classification