Integrasi Deep Learning dan Analisis Video untuk Penilaian Risiko Ergonomis Secara Real-Time Menggunakan Revised NIOSH Lifting Equation (RNLE)

Listia Anjani, Ir. HILYA MURDRIKA ARINA, ST., M.Sc., M.Phil., Ph.D., IPM., ASEAN.Eng.

2025 | Tesis | S2 Teknik Industri

Aktivitas manual lifting merupakan salah satu penyebab utama cedera di tempat kerja, hal ini mendorong dibutuhkannya alat yang efektif untuk menilai tingkat keamanan dan potensi risikonya. Penelitian ini mengusulkan pendekatan yang mengintegrasikan deep learning model dengan Revised NIOSH Lifting Equation (RNLE) untuk menganalisis lifting stages dan memprediksi tingkat risikonya. Dengan memanfaatkan pose estimation dan machine learning, penelitian ini bertujuan untuk mengotomatisasi ergonomic assessment dan meningkatkan keselamatan di lingkungan kerja. Metode yang digunakan terdiri dari dua fase: fase training dan fase prediction. Pada fase training, model kombinasi CNN-LSTM dikembangkan menggunakan dataset yang terdiri dari 117 video, di mana setiap video merekam satu kali aktivitas manual lifting. Video tersebut dikonversi menjadi 75.920 dan diberikan label secara manual. Teknik data augmentation serta class balancing diterapkan untuk menangani perbadaan jumlah data pada setiap label. Model ini menunjukkan performa yang sangat baik dengan akurasi 99?rdasarkan 5-fold cross-validation. Pada fase prediction, model yang telah dilatih digunakan untuk mengidentifikasi lifting stages pada video baru dan memperkirakan nilai dari variabel utama dalam RNLE, yaitu horizontal (H), vertical (V), distance (D), dan asymmetry (A). Variabel ini diperoleh dari body joint landmarks yang dideteksi menggunakan MediaPipe pose landmarks. Hasil penelitian ini menunjukkan bahwa model memiliki akurasi tinggi dalam estimasi V (92%), performa sedang untuk D (86%), serta akurasi lebih rendah untuk H (71%). Nilai asymmetric (A) dievaluasi menggunakan MAE dan diperoleh nilai sebesar 21.12. Klasifikasi risiko berdasarkan Lifting Index (LI) yang dihitung dari variabel RNLE menunjukkan presisi tinggi untuk low risk, tetapi presisi lebih rendah untuk kasus moderate dan high-risk. Temuan ini menunjukkan potensi besar dalam mengintegrasikan model deep learning dengan ergonomic assessment dalam memproses video real-time, menyediakan solusi otomatis dan praktis untuk analisis manual lifting serta meningkatkan keselamatan kerja. 

Manual lifting tasks are a significant cause of workplace injuries, necessitating effective tools to assess their safety and potential risks. This study presents an approach that integrates a deep learning model with the Revised NIOSH Lifting Equation (RNLE) to analyze lifting stages and predict risk levels. By leveraging pose estimation and machine learning, the research aims to automate ergonomic assessments and improve workplace safety. The proposed method consists of two phases: a training phase and a prediction phase. In the training phase, a hybrid CNN-LSTM model was developed using a dataset of 117 videos, each containing a single lifting action. These videos were converted into 75,920 labeled frames, and data augmentation and class balancing techniques were applied to address label imbalances. The model achieved a robust performance with 99?curacy through 5-fold cross-validation. In the prediction phase, the trained model was used to identify lifting stages and estimate key RNLE variables, including horizontal (H), vertical (V), distance (D), and asymmetry (A) values. These variables were estimated using body joint landmarks obtained from MediaPipe pose landmarks. Evaluated using MAPE, the model demonstrated high accuracy for estimating V (92%), moderate performance for D (86%), and lower accuracy for H (71%). The Asymmetric value (A) evaluated using MAE and the overall MAE value is 21.12. The risk classification, based on the Lifting Index (LI) computed from estimated RNLE variables, showed high precision for low-risk actions but lower precision for moderate and high-risk cases. These findings highlight the potential of integrating deep learning models with ergonomic assessments in processing a real-time video, providing an automated and practical solution for analyzing lifting tasks and enhancing workplace safety. 

Kata Kunci : Manual Lifting Task, Deep Learning, CNN-LSTM Model, Revised NIOSH Lifting Equation (RNLE), Risk Level Classification