Studi Perbandingan Metode Low Rank Adaptation dan Parameter Effiicient Learning untuk Personalisasi Suara pada Digital Sibling AI

Tsaniya Khamal Khasanah, Prof. Dr. Ir. Ridi Ferdiana, S.T., M.T., IPM; Teguh Bharata Adji, S.T., M.T., M.Eng., Ph.D

2026 | Skripsi | TEKNOLOGI INFORMASI

Perkembangan teknologi Text-to-Speech (TTS) berbasis zero-shot semakin me mungkinkan personalisasi suara dengan data pelatihan yang terbatas, namun proses adap tasi model pada kondisi low-resource tersebut masih menghadapi tantangan dalam men jaga kualitas naturalitas dan akurasi linguistik hasil sintesis. Penelitian ini memban dingkan dua metode Parameter-Efficient Fine-Tuning (PEFT), yaitu Low-Rank Adapta tion (LoRA) sebagai representasi Reparameterized (PEFT) dan Parameter-Efficient Learning (PEL) berbasis latent adapter sebagai representasi Additive (PEFT), untuk personalisasi suara pada sistem Digital Sibling AI. CosyVoice2 digunakan sebagai model dasar zero-shot TTS yang diadaptasi menggunakan kedua metode tersebut secara independen untuk 10 pembicara, menggunakan dataset rekaman suara berbahasa Inggris berdurasi 3–4 menit tiap pembicara. Pada kedua metode, seluruh parameter backbone dibekukan sehingga hanya matriks low-rank pada LoRA atau parameter latent adapter pada PEL yang diperbarui selama proses fine tuning. Evaluasi dilakukan menggunakan empat metrik objektif, yaitu Word Error Rate (WER) dan Character Error Rate (CER) untuk mengukur akurasi linguistik, Speaker Similarity (SS) untuk mengukur kemiripan identitas suara, serta UTMOS untuk mengukur naturalitas audio. Hasil pengujian menunjukkan bahwa PEL secara konsisten menghasilkan naturalitas audio yang lebih tinggi serta ketahanan terhadap catastrophic forgetting yang lebih baik dibandingkan LoRA, sebagaimana ditunjukkan oleh nilai UTMOS, WER, dan CER yang secara statistik signifikan lebih unggul. Sebaliknya, pada aspek kemiripan suara (SS), LoRA menunjukkan performa yang lebih unggul dibandingkan PEL. Keunggulan PEL pada ketiga metrik tersebut sejalan dengan jumlah parameter yang dapat dilatih yang lebih besar dibandingkan LoRA, sehingga kapasitas adaptasinya terhadap karakteristik suara pembicara juga lebih tinggi, meskipun hal ini berdampak pada efisiensi parameter yang lebih rendah

The rapid development of zero-shot Text-to-Speech (TTS) technology increasingly enables voice personalization with limited training data; however, model adaptation un der such low-resource conditions still faces challenges in maintaining synthesis natural ness and linguistic accuracy. This study compares two Parameter-Efficient Fine-Tuning (PEFT) methods, namely Low-Rank Adaptation (LoRA) as a representative of Reparameterized PEFT and Parameter-Efficient Learning (PEL) based on a latent adapter as a representative of Additive PEFT, for voice personalization in a Digital Sibling AI system. CosyVoice2 is used as the zero-shot TTS foundation model, independently adapted using both methods for 10 speakers with English speech recordings of 3–4 minutes per speaker. In both methods, all backbone parameters are frozen, so only the low-rank matrices in LoRA or the latent adapter parameters in PEL are updated during fine-tuning. Evaluation is conducted using four objective metrics: Word Error Rate (WER) and Cha racter Error Rate (CER) to measure linguistic accuracy, Speaker Similarity (SS) to measure voice identity resemblance, and UTMOS to measure audio naturalness. Results show that PEL consistently achieves higher audio naturalness and better resistance to catastrophic forgetting compared to LoRA, as reflected in UTMOS, WER, and CER scores that are statistically significantly superior. Conversely, in terms of speaker similarity (SS), LoRA outperforms PEL. This advantage of PEL across the three metrics aligns with its larger number of trainable parameters compared to LoRA, which gives it greater adaptation capacity to speaker voice characteristics, although this comes at the cost of lower parameter efficiency.

Kata Kunci : Text-to-Speech, LoRA, Parameter-Efficient Learning, voice cloning, CosyVoice2, Digital Sibling AI, PEFT