An Empirical Analysis on Feature Complementarity and Fusion Depth in Multimodal Deep Learning for Music Genre Classification

Daniel Winston Mandela Tulung, Rifki Afina Putri, S.T., M.S., Ph.D.

2026 | Skripsi | ILMU KOMPUTER

Model klasifikasi genre musik (Music Genre Classification atau MGC) sering kali mengalami kesulitan dalam mengintegrasikan beragam fitur akustik secara efektif. Penggabungan spektrogram dua dimensi (2D) yang merepresentasikan informasi spasial dengan deskriptor statistik satu dimensi (1D) umumnya diasumsikan dapat meningkatkan akurasi klasifikasi. Namun, kontribusi relatif dari berbagai deskriptor dan kedalaman fusi (fusion depth) masih belum jelas, sementara penelitian terdahulu kerap terkendala oleh kebocoran data temporal (temporal data leakage).

Penelitian ini melakukan studi ablasi sistematis menggunakan arsitektur CNN–MLP dua cabang untuk mengevaluasi komplementaritas tiga kelompok deskriptor statistik, yaitu MFCC, Chroma, dan Spectral Contrast, serta tiga tingkat fusi, yaitu fusi awal (early fusion), fusi menengah (intermediate fusion), dan fusi akhir (late fusion), dalam klasifikasi genre musik multimodal. Untuk menguji ketahanan hasil perbandingan, sebanyak 23 konfigurasi dilatih dan dievaluasi menggunakan tiga pembagian data acak pada tingkat trek (track-level random splits) yang dilakukan secara berulang pada dataset GTZAN, sehingga menghasilkan total 69 pelatihan model. Prediksi akhir kemudian diagregasi menggunakan metode pemungutan suara mayoritas pada tingkat trek (track-level majority voting).

Hasil penelitian menunjukkan bahwa model CNN yang hanya menggunakan spektrogram Mel telah mampu menghasilkan klasifikasi yang kuat, dengan skor F1 sebesar 0,854. Sementara itu, manfaat penambahan deskriptor statistik tergolong kecil dan belum dapat dipastikan. Dari 21 konfigurasi fusi yang diuji, hanya fusi menengah (feature-level fusion) yang menggabungkan MFCC dan Chroma yang tidak menghasilkan skor di bawah baseline tersebut pada ketiga pembagian data, dengan peningkatan rata-rata sebesar 1,1 poin F1, yang setara dengan sekitar satu trek pada data pengujian. Rata-rata skor F1 antar tingkat fusi juga hanya menunjukkan perbedaan yang kecil, yaitu 0,848 untuk fusi menengah, 0,844 untuk fusi awal, dan 0,835 untuk fusi akhir. Ketiga tingkat fusi tersebut secara rata-rata menghasilkan skor yang sedikit lebih rendah dibandingkan baseline Pure CNN. Dengan demikian, tidak ada tingkat fusi yang secara konsisten mampu mengungguli model yang hanya menggunakan spektrogram.

Penggabungan ketiga kelompok deskriptor sekaligus juga tidak memberikan keunggulan yang terukur dibandingkan penggunaan sepasang deskriptor yang dipilih secara tepat. Temuan ini mengindikasikan bahwa, ketika kebocoran data pada tingkat segmen berhasil diminimalkan, spektrogram Mel telah mampu menangkap sebagian besar informasi yang membedakan genre musik. Deskriptor statistik paling jauh memberikan sinyal komplementer tambahan yang kecil dan bergantung pada tingkat fusi yang digunakan, bukan peningkatan substansial sebagaimana dilaporkan dalam sejumlah penelitian terdahulu.

Penelitian ini berkontribusi melalui penyusunan protokol perbandingan yang terkontrol dengan menggunakan satu arsitektur model, serta memberikan panduan eksploratif dalam pemilihan fitur dan tingkat fusi untuk klasifikasi audio multimodal.

Music Genre Classification (MGC) models often struggle to effectively integrate diverse acoustic features. Combining 2D spatial spectrograms with 1D statistical descriptors is commonly assumed to improve accuracy, but the relative value of different descriptors and fusion depths remains unclear, and prior studies are frequently compromised by temporal data leakage. This research conducts a systematic ablation study using a dual-branch CNN–MLP architecture to evaluate the complementarity of three statistical descriptor groups (MFCC, Chroma, Spectral Contrast) and three fusion depths (early, intermediate, late) for multimodal MGC. To assess the robustness of the comparison, 23 configurations were each trained and evaluated on three repeated random track-level splits of the GTZAN dataset (69 model trainings in total), with final predictions aggregated via track-level majority voting. Results show that a Mel-spectrogram-only CNN baseline is already a strong classifier (F1 = 0.854), and that the benefit of adding statistical descriptors is small and uncertain: among 21 fusion configurations, only intermediate (feature-level) fusion of MFCC and Chroma was not below this baseline on any of the three splits, by an average of 1.1 F1 points, which corresponds to roughly one test track. Mean F1 differs little across fusion depths (intermediate 0.848, early 0.844, late 0.835), and all three families average slightly below the Pure CNN baseline, so no fusion depth reliably outperformed a spectrogram-only model. Combining all three descriptor groups provides no measurable advantage over a well-chosen pair. These findings suggest that, once segment-level leakage is mitigated, Mel-spectrograms already capture the large majority of genre-discriminative information, and that statistical descriptors offer at most a small, fusion-depth-dependent complementary signal rather than the substantial gains reported in prior literature. This study contributes a controlled, single-architecture comparison protocol and exploratory guidelines for feature and fusion-depth selection in multimodal audio classification.

Kata Kunci : Music Genre Classification, Multimodal Deep Learning, Feature Fusion, Empirical Analysis, Convolutional Neural Network, Multi-Layer Perceptron.