Laporkan Masalah

MODEL PEMBANGKITAN MELODI UNTUK MUSIK GAMELAN BERBASIS DEEP LEARNING

ARRY MAULANA SYARIF, Dr. Azhari, M.T.; Dr. Suprapto, M.I.Kom.; Dr. Khafiizh Hastuti, S.Kom., M.Kom.

2021 | Disertasi | DOKTOR ILMU KOMPUTER

Musik gamelan telah menjadi objek dalam penelitian komposisi algoritmik, tetapi masih terdapat keterbatasan pada keluarannya, yaitu formalisasi musik diterapkan hanya pada kerangka lagu, atau yang disebut dengan balungan, yang merupakan bentuk ekstraksi dari melodi. Penelitian ini bertujuan untuk mengembangkan model pembangkitan melodi musik gamelan dengan keluaran berupa melodi dan kerangka melodinya. Pendekatan pembelajaran mendalam dengan metode Long-Short Term Memory (LSTM) digunakan untuk tugas pembangkitan melodi, sedangkan metode Feed-Forward Neural Network (FFNN) digunakan untuk tugas deteksi kerangka melodi. Proses komposisi algoritmik untuk musik gamelan dilakukan dengan membangkitkan melodi, selanjutnya deteksi kerangka melodi dilakukan pada melodi hasil pembangkitan. Lembar musik gamelan yang berisikan data musikal melodi dan kerangka melodinya digunakan sebagai sumber data. Data lembar musik yang berformat simbolik dikonversi ke dalam format berbasis teks, melalui pengembangan model gendhing scientific pitch notation (GSPN), agar dapat diproses secara komputasi. Data melodi dan kerangka melodi dikelola secara terpisah dengan tetap menjaga relasi antara melodi dan kerangka melodinya. Data melodi digunakan sebagai masukan dan target bagi jaringan LSTM untuk pembangkitan melodi, dan digunakan bersama data kerangka melodi untuk melatih jaringan FFNN dengan data melodi sebagai masukan dan data kerangka melodi sebagai target. Evaluasi dilakukan dengan mengukur kesesuaian pola melodi dan metrik struktur komposisi. Evaluasi metrik struktur komposisi dilakukan dengan melakukan analisis statistik pada elemen musikal yang mengkonstruksi komposisi. Hasil analisis diformulasikan secara matematis menjadi teorema metrik struktur komposisi musik gamelan serta digunakan untuk mengukur kesesuaian struktur komposisi dalam melodi hasil pembangkitan terhadap aturan komposisi musik gamelan. Pengukuran kesesuaian pola melodi dari melodi yang dibangkitkan terhadap karakteristik komposisi dan karakteristik sistem mode musik dalam musik gamelan dilakukan berdasarkan akurasi performa jaringan LSTM dalam memprediksi urutan nada, serta pengujian pakar. Pengukuran deteksi kerangka melodi untuk menghasilkan kerangka melodi menggunakan pengukuran akurasi, recall, presision, specificity dan F1-score, serta pengujian penerimaan pakar. Hasil evaluasi menunjukkan bahwa jaringan LSTM mampu membangkitkan melodi dengan akurasi mini batch mencapai 86,9% dan error loss sebesar 0,0143, serta dapat membangkitkan melodi kurang dari 10 kali percobaan dalam satu kali proses. Meskipun masih terdapat koreksi dari pakar tentang rasa dari melodi hasil pembangkitan, pengujian pakar menunjukkan bahwa melodi hasil pembangkitan dapat memenuhi kesesuaiannya terhadap karakteristik bunyi komposisi musik gamelan termasuk karakteristik sistem tangga nada dan sistem mode musik yang menjadi target. Evaluasi deteksi kerangka melodi menunjukkan bahwa akurasi dalam pelatihan oleh jaringan FFNN kurang dari 70%, dan meningkat hingga lebih dari 80% pada saat pengujian hold out, dan meningkat lagi hinga lebih dari 90% pada saat pengujian pakar.

Gamelan music has been used for algorithmic composition with limited output, in which the music formalization was implemented for the balungan part (Javanese: skeletal melody), a part of compositions which is an extraction melodies form. This study aims to develop a model of gamelan music melody generation with the output in the form of melodies and skeletal melodies. Deep learning approach with the Long-Short Term Memory (LSTM) method was used to generate melodies, while the Feed-Forward Neural Network (FFNN) method was used for skeletal melody detection tasks. The algorithmic composition process for musicals is carried out by generating a melody, then a skeletal melody is detected based on the generated melody. Musical sheet music containing musical data of the melody and skeletal melody is used as a data source. Symbolic sheet music data is converted into text-based formats, by developing the gendhing scientific pitch notation (GSPN) model, so that it can be processed computationally. Melody and skeletal melody data are managed separately while maintaining the relationship between the melody and its skeletal melodic. Melody data is used as the input and target to the LSTM network for melody generation, and is used together with skeletal melody data to train the FFNN network with melody data as input and skeletal melody data as targets. Evaluation was conducted by measuring the suitability of the melody pattern and structure metric. Measurement of the structure metric was carried out by performing statistical analysis on the musical elements that construct the composition. The results of the analysis were formulated mathematically into a musical composition theorem and were used to measure the suitability of the structure. Measurement of the suitability of the melody pattern of the generated melody to the characteristics of the composition and characteristics of the musical mode system in musik gamelan was carried out based on the accuracy of the performance of the LSTM network in predicting tone sequences, as well as testing for expert acceptance. Measurement of melody extraction was carried out using measurement of accuracy, recall, precision, specificity and F1-score, as well as expert testing. Evaluation results show that the LSTM network reached mini batch accuration at 86.9% and error loss at 0,0143, and also can generate melodies in less than 10 attemps in one process. Although there were experts� corrections in the feel of generated melodies, the expert test shows that the generated melodies can satisfy the sound characteristics of gamelan music compositions including the characteristics of the targeted musical scale system and musical mode system. The evaluation on the skeletal melody detection shows that the training accuracy of the FFNN network was less than 70%, and the accuracy increased to more than 80% in hold out text, and furthermore it increased to more than 90% in expert test.

Kata Kunci : pembangkitan melodi, deteksi kerangka melodi, pembelajaran mendalam, long-short term memory, feed forward neural network, musik gamelan

  1. S3-2017-420337-abstract.pdf  
  2. S3-2017-420337-bibliography.pdf  
  3. S3-2017-420337-tableofcontent.pdf  
  4. S3-2017-420337-title.pdf