Cloud Provider MLaaS Image Classification Cost and Performance Comparison

Andika Andrianto, Moh. Edi Wibowo, S.Kom.,M.Kom., Ph.D.

2024 | Skripsi | ILMU KOMPUTER

Machine Learning-as-a-Service (MLaaS) adalah serangkaian layanan yang memungkinkan Model Mesin dilatih di platform cloud dengan alat yang mudah dikonfigurasi. MLaaS sebagai teknologi yang relatif baru memerlukan banyak faktor untuk dipertimbangkan seperti keakuratan model ML, ketersediaan, dan biaya layanan sebelum memilih penyedia cloud mana pun. Pemanfaatan virtual computing instance yang dapat diakses dengan harga bervariasi yang ditawarkan oleh penyedia cloud menyebabkan pengguna masih dihadapkan pada tantangan dalam menentukan platform mana yang akan diadopsi. Tesis ini melakukan eksperimen terkontrol untuk membandingkan kemampuan klasifikasi gambar AutoML Microsoft AzureML dan Amazon Web Services Sagemaker/Canvas. Membandingkan hasil eksperimen Akurasi, Waktu Pelatihan dan total Biaya akhir saat dilatih pada dataset CIFAR-10. Studi ini dilatarbelakangi oleh kurangnya kumpulan data berskala lebih kecil yang digunakan untuk melatih eksperimen dan temuan efisiensi biaya yang dapat ditentukan dengan memanfaatkan berbagai penawaran instans komputasi dengan spesifikasi berbeda dari platform. Komentar subyektif akan dilaporkan tentang pengalaman pengguna saat menyiapkan platform untuk eksperimen. Hasil eksperimen ini akan digunakan untuk membuat rekomendasi platform mana yang lebih cocok untuk berbagai prioritas metrik. Tesis ini menemukan bahwa Amazon Web Service Canvas memiliki performa terbaik dalam hal akurasi, waktu pelatihan, dan ketersediaan instans komputasi, namun merupakan platform termahal. AzureML mencapai performa terbaik di semua metrik tetapi tidak memiliki ketersediaan sumber daya komputasi secara default. Platform SageMaker memiliki waktu pelatihan terlama dengan akurasi yang sedikit lebih rendah dan instansi komputasi yang sesuai lebih mahal.

Machine Learning-as-a-Service (MLaaS) is a set of services that allows Machine Models to be trained on the cloud platform with easily configurable tools. MLaaS being a relatively new technology requires many factors to be considered such as accuracy of the ML model, availability, and cost of the service before choosing any cloud provider. Utilizing virtual computing instances that can be accessed at a variety price offered by cloud providers has caused users to still be faced with the challenge of deciding on which platform to adopt. This thesis conducts controlled experiments to compare the AutoML image classification capabilities of Microsoft AzureML and Amazon Web Services Sagemaker/Canvas. Comparing the experiments result of their Accuracy, Training Time and total final Cost when trained on CIFAR-10 dataset. This study was motivated by the lack of smaller scale dataset used on training the experiment and cost efficiency findings that can be determined by utilizing a variety of different specification compute instance offerings from the platforms. Subjective comments will be reported about the user experience while setting up the platform for experiments. The results of these experiments will be used to make recommendations on which platform is more suitable for different metrics priorities. This thesis found that Amazon Web Service Canvas performed best in terms of accuracy, training time and compute instance availability but was the most expensive platform by far. AzureML achieved the next best performance in all metrics but lacked compute resource availability by default. SageMaker platform had the longest training time with slightly lower accuracy and more expensive appropriate compute instances.

Kata Kunci : MLaaS, Cloud Computing, Image Classification, AWS, Azure