PENGENALAN GESTUR TANGAN UNTUK JARIMATIKA MENGGUNAKAN CNN DAN MEDIAPIPE HANDS SECARA REALTIME

Jarimatika merupakan metode berhitung yang memanfaatkan jari tangan sebagai alat bantu hitung. Namun, penerapannya masih memerlukan pendampingan langsung sehingga kurang fleksibel untuk pembelajaran mandiri. Penelitian ini mengembangkan sistem pengenalan gestur jari tangan Jarimatika secara real-time menggunakan MediaPipe Hands untuk deteksi landmark tangan dan Convolutional Neural Network (CNN) untuk klasifikasi gestur. Dataset dikumpulkan secara mandiri sebanyak 10.800 citra dari 18 kelas gestur menggunakan webcam, dengan pembagian 70% data latih (7.560 citra), 15% data validasi (1.620 citra), dan 15% data uji (1.620 citra). Variasi datset terdiri atas sembilan gestur tangan kanan yang merepresentasikan nilai satuan dan sembilan gestur tangan kiri yang merepresentasikan nilai puluhan. Hasil pelatihan model CNN memperoleh akurasi validasi sebesar 99,01% pada epoch ke-30. Pengujian model terhadap data uji menunjukkan akurasi sebesar 99% dengan nilai precision, recall, dan F1-Score rata-rata masing-masing sebesar 0,99 pada seluruh 18 kelas gestur. Sistem yang dikembangkan mampu mengenali gestur jari tangan dan menampilkan hasil perhitungan Jarimatika secara real-time melalui antarmuka kamera.

Kunci: CNN; Gestur Tangan; Jarimatika; Mediapipe Hands; Real-Time