Studi Komparatif Digital Sibling Video AI Platform

Leonard Mars Kurniaputra, Prof. Dr. Ir. Ridi Ferdiana, S.T., M.T., IPM. ; Prof. Ir. Lukito Edi Nugroho, M.Sc., Ph.D.

2025 | Skripsi | TEKNOLOGI INFORMASI

Portrait animation merupakan sintesis video hyper-realistic yang menghasilkan sebuah video manusia berbicara menggunakan gambar statis dan audio penggerak. Teknologi portrait animation dapat diimplementasikan sebagai visualisasi pada Digital Sibling AI, platform berbasis AI yang mampu mereplikasikan seseorang menjadi representasi digital yang mampu berkomunikasi layaknya manusia asli. Penggunaan portrait animation yang realistis penting untuk meningkatkan tingkat imersif pada digital sibling, namun perlu diidentifikasi kriteria-kriteria yang dapat menilai pembangkit portrait animation yang "bagus". Lalu, Pembangkit portrait animation tersebut akan diaplikasikan ke dalam sebuah rancangan integrasi platform digital sibling.

Penelitian ini menentukan kriteria ketentuan dasar, kredibilitas, performa, dan visualisasi sebagai kriteria utama yang menentukan kelayakan sebuah model portrait animation sebagai visualisasi representasi digital. Berdasarkan pengujian yang dilakukan serta analisis menggunakan Multi-Criteria Decision Making (MCDM), ditemukan model SadTalker sebagai model portrait animation terbaik yang sesuai dengan kriteria tersebut. Setelah itu, model akan dikembangkan menjadi API dan di-deploy sebagai container menggunakan layanan Azure Container Apps. Model akan diinferensi dengan pemanggilan API, di mana API akan mengembalikan url yang berisi output video portrait animation yang dihasilkan. Terakhir, penelitian ini menyarankan VM dengan GPU NVIDIA A100 dan resource yang minimum sebagai spesifikasi ideal.

Portrait animation is a hyper-realistic video synthesis that produces talking human video with the use of a static image and driving audio. Portrait animation technology can be implemented as a visualization for Digital Sibling AI, an AI-based platform that may replicate someone as a digital representation that’s able to communicate like an actual human being. Having realistic portrait animation is important to enhance the level of immersive on digital sibling, hence some criteria need to be identified to grade a "good" portrait animation generator. Then, this portrait animation generator will be applied as an integration design to the digital sibling platform. This research defines criterias for basic provisions, credibility, performance, and visualization as the main criteria that will decide the feasibility of a portrait animation model as a digital representation visualization. Based on the testing conducted as well as the analysis using Multi-Criteria Decision Making (MCDM), it is found that the SadTalker model is the best portrait animation model in accordance to the defined criteria. After that, the model will be developed into an API and deployed as a container using Azure Container Apps services. The model will be inferenced via API request, where the API will return a URL containing the portrait animation video output. Last but not least, this research suggests the ideal VM specification with NVIDIA A100 GPU and minimum resources.

Kata Kunci : portrait animation, evaluasi model generative AI, integrasi aplikasi API, layanan kontainer serverless