PENGEMBANGAN MODEL DETEKSI SISTEM ISYARAT BAHASA INDONESIA MENGGUNAKAN ARSITEKTUR RESNET-34 DAN TEKNIK AUGMENTASI CITRA

ABSTRAK Penggunaan bahasa isyarat merupakan cara komunikasi utama bagi individu dengan keterbatasan pendengaran dan bicara. Namun, keterbatasan pemahaman terhadap bahasa isyarat oleh masyarakat umum menghambat interaksi sosial yang efektif. Saat ini, terdapat ragam upaya yang dilakukan oleh para peneliti untuk menangani persoalan tersebut dengan memanfaatkan bantuan teknologi computer vision dengan menggunakan algoritma CNN untuk mendeteksi gerakan objek dari bahasa isyarat, namun masih terdapat kekurangan diantaranya rentan terhadap risiko vanishing gradient dan overfitting pada model. Penelitian ini bertujuan untuk mengembangkan model deteksi bahasa isyarat berbasis deep learning menggunakan arsitektur Convolutional Neural Network (CNN) dan ResNet-34, serta teknik augmentasi citra untuk mengatasi masalah vanishing gradient dan overfitting. Model yang dihasilkan diuji menggunakan dataset Sistem Isyarat Bahasa Indonesia (SIBI). Hasil pengujian menunjukkan bahwa model dengan augmentasi citra yang dilatih selama 50 epoch menghasilkan nilai precision sebesar 99.5%, recall sebesar 99.5%, F1-score sebesar 99.5%, dan akurasi sebesar 99.5%. Sementara itu, model tanpa augmentasi citra menghasilkan nilai precision sebesar 99.4%, recall sebesar 99.3%, F1-score sebesar 99.3%, dan akurasi sebesar 99.3%. Dengan demikian, penggunaan arsitektur ResNet-34 berhasil mengatasi masalah vanishing gradient, dan teknik augmentasi citra efektif dalam mencegah overfitting serta meningkatkan akurasi model. Pengujian lebih lanjut dalam situasi nyata juga memiliki potensi besar sistem ini untuk diadopsi sebagai alat bantu komunikasi bagi masyarakat umum dengan penyandang tunarungu dan tunawicara.

Kata Kunci: Augmentasi, Computer Vision, Convolutional Neural Network (CNN), Overfitting, ResNet-34, Vanishing Gradient