Sistem Deteksi Sentuhan Pada Virtual Keyboard

BAGUS DWI HARIYANTO, Prof. Dra. Sri Hartati, M.Sc., Ph.D.

2023 | Skripsi | S1 ELEKTRONIKA DAN INSTRUMENTASI

Virtual keyboard merupakan suatu jenis keyboard yang tidak memiliki bentuk secara fisik namun memiliki fungsionalitas yang sama dengan keyboard pada umumnya. Deteksi sentuhan merupakan tahapan penting pada implementasi virtual keyboard berbasis kamera. Sistem deteksi sentuhan menggunakan pendekatan posisi jari memiliki risiko terjadinya kesalahan deteksi dikarenakan sistem tidak bisa membedakan jari yang bersentuhan dan jari yang tidak bersentuhan atau melayang terhadap permukaan virtual keyboard. Pada penelitian ini sistem deteksi sentuhan menggunakan pendekatan analisis bayangan. Diterapkan beberapa metode pengolahan citra seperti thresholding, background subtraction, dan deteksi tepi. Sistem akan menentukan posisi titik ujung jari dan bayangan kemudian menghitung jarak antara keduanya. Kamera webcam digunakan sebagai perangkat akuisisi citra virtual keyboard. Data yang digunakan terdiri dari 1000 citra tangan, 4 citra keyboard, dan 8 video yang diambil dari 4 orang. Pengujian yang dilakukan adalah pengujian akurasi deteksi sistem dan pengujian simulasi mengetik. Hasil penelitian ini berupa nilai akurasi dan rata-rata waktu deteksi sistem. Nilai akurasi sistem tertinggi sebesar 97,50 % dan 93,22 %, sedangkan rata-rata waktu deteksi sistem terbaik sebesar 1,5517 dan 1,5593 sekon untuk masing-masing pengujian. Dari hasil yang didapat, perancangan sistem deteksi sentuhan menggunakan analisis bayangan berhasil diimplementasikan karena telah memenuhi kriteria yang ditentukan.

Virtual keyboard is a type of keyboard that doesn't have a physical form but have same functionality as common keyboard. Touch detection is an important stage in camera based virtual keyboard. Touch detection system that uses finger position approach have a risk of detection errors because system cannot tell the difference between fingers that are touching and fingers that aren't touching or hovering over the virtual keyboard surface. In this study touch detection system used shadow analysis approach. Some image processing method, like thresholding, background subtraction, and edge detection is implemented. System will determine the position of fingertip and shadow point then calculate the distance between the two. Webcam is used as image acquisition device for virtual keyboard. The data used consists of 1000 hand images, 4 keyboard images, and 8 videos taken from 4 people. The tests carried out are system detection accuration test and typing simulation test. The results of this study are the accuracy value and the average detection time of the system. The highest system accuracy values were 97.50% and 93.22%, while the best average system detection time were 1.5517 and 1.5593 seconds for each test. From the results obtained, the design of a touch detection system using shadow analysis was successfully implemented because it met the specified criteria.

Kata Kunci : deteksi sentuhan, virtual keyboard, ujung jari, bayangan