Metode Lucas-Kanade Optical Flow Tracking Untuk Optimasi Deteksi Gestur Pukulan Pada Sistem Air Drumming Berbasis Penglihatan Komputer

Josiah Farrel Suwito, Arif Nurwidyantoro, M.Cs., Ph.D

2025 | Skripsi | ILMU KOMPUTER

Air drumming merupakan solusi latihan drum yang fleksibel, memungkinkan pengguna bermain drum tanpa memerlukan perangkat keras fisik, sehingga cocok digunakan dalam ruang terbatas atau oleh pemula. Namun, sistem air drumming berbasis penglihatan komputer masih menghadapi tantangan dalam mendeteksi gerakan stik drum secara akurat, terutama pada tempo tinggi yang menghasilkan gerakan cepat dan berpotensi menyebabkan hilangnya titik deteksi. 

Penelitian ini mengembangkan sistem pelacakan dengan metode deteksi blob warna yang dikombinasikan secara adaptif dengan Lucas-Kanade Optical Flow dan Kalman Filter untuk mengatasi ketidakstabilan pelacakan. Sistem diuji menggunakan 975 data pukulan dalam 80 - 160 BPM untuk mengevaluasi akurasi (precision, recall, F1-score) dan latensi dengan Mean Absolute Error berdasarkan pendekatan event matching. Hasil menunjukkan sistem mampu mempertahankan F1-score di atas 89% pada semua tempo dan latensi rata-rata dibawah 240 milidetik. Performa baik dicapai pada 160 BPM dengan F1-score sebesar 92,38% menunjukkan pendekatan gabungan ini efektif untuk mendeteksi pukulan drum secara real-time dalam tempo tinggi.

Air drumming offers a flexible solution for drum practice, allowing users to play drums without the need for physical hardware, making it suitable for limited spaces or beginner users. However, computer vision-based air drumming systems still face challenges in accurately detecting drumstick movements, particularly at high tempos where fast motion may lead to the loss of tracking points.

This study develops a tracking system using a color-based blob detection method combined adaptively with Lucas-Kanade Optical Flow and a Kalman Filter to overcome tracking instability. The system was tested on 975 drum hits across a tempo range of 80 - 160 BPM, and evaluated in terms of accuracy (precision, recall, F1-score) and latency using Mean Absolute Error based on an event-matching approach. Evaluation results show that the system maintains an F1-score above 89?ross all tempos and achieves an average latency below 240 milliseconds. The system’s strong performance at 160 BPM, with an F1-score of 92.38%, indicates that this combined approach is effective for real-time drum hit detection, even at high tempo.

Kata Kunci : Air Drumming, Penglihatan Komputer, Optical Flow, Kalman Filter, Deteksi Blob, Pelacakan Gerakan