PENGEMBANGAN MODEL DETEKSI SISTEM ISYARAT BAHASA INDONESIA MENGGUNAKAN ARSITEKTUR RESNET-34 DAN TEKNIK AUGMENTASI CITRA

Hilal, Rizki Ramdhan (2024) PENGEMBANGAN MODEL DETEKSI SISTEM ISYARAT BAHASA INDONESIA MENGGUNAKAN ARSITEKTUR RESNET-34 DAN TEKNIK AUGMENTASI CITRA. Sarjana thesis, Universitas Siliwangi.

[img] Text
1. COVER.pdf
Download (152kB)
[img] Text
2. LEMBAR PENGESAHAN.pdf
Download (395kB)
[img] Text
3. PERNYATAAN KEASLIAN.pdf
Download (236kB)
[img] Text
4. ABSTRACT.pdf
Download (205kB)
[img] Text
5. ABSTRAK.pdf
Download (207kB)
[img] Text
6. LEMBAR PERSEMBAHAN.pdf
Download (203kB)
[img] Text
7. KATA PENGANTAR.pdf
Download (206kB)
[img] Text
8. DAFTAR (DAFTAR ISI, TABEL, GAMBAR, LAMPIRAN).pdf
Download (345kB)
[img] Text
9. BAB I.pdf
Download (227kB)
[img] Text
10. BAB II.pdf
Download (1MB)
[img] Text
11. BAB III.pdf
Download (867kB)
[img] Text
12. BAB IV.pdf
Restricted to Repository staff only
Download (2MB)
[img] Text
13. BAB V.pdf
Restricted to Repository staff only
Download (209kB)
[img] Text
14. DAFTAR PUSTAKA.pdf
Download (246kB)
[img] Text
15. LAMPIRAN.pdf
Restricted to Repository staff only
Download (4MB)

Abstract

Penggunaan bahasa isyarat merupakan cara komunikasi utama bagi individu dengan keterbatasan pendengaran dan bicara. Namun, keterbatasan pemahaman terhadap bahasa isyarat oleh masyarakat umum menghambat interaksi sosial yang efektif. Saat ini, terdapat ragam upaya yang dilakukan oleh para peneliti untuk menangani persoalan tersebut dengan memanfaatkan bantuan teknologi computer vision dengan menggunakan algoritma CNN untuk mendeteksi gerakan objek dari bahasa isyarat, namun masih terdapat kekurangan diantaranya rentan terhadap risiko vanishing gradient dan overfitting pada model. Penelitian ini bertujuan untuk mengembangkan model deteksi bahasa isyarat berbasis deep learning menggunakan arsitektur Convolutional Neural Network (CNN) dan ResNet-34, serta teknik augmentasi citra untuk mengatasi masalah vanishing gradient dan overfitting. Model yang dihasilkan diuji menggunakan dataset Sistem Isyarat Bahasa Indonesia (SIBI). Hasil pengujian menunjukkan bahwa model dengan augmentasi citra yang dilatih selama 50 epoch menghasilkan nilai precision sebesar 99.5%, recall sebesar 99.5%, F1-score sebesar 99.5%, dan akurasi sebesar 99.5%. Sementara itu, model tanpa augmentasi citra menghasilkan nilai precision sebesar 99.4%, recall sebesar 99.3%, F1-score sebesar 99.3%, dan akurasi sebesar 99.3%. Dengan demikian, penggunaan arsitektur ResNet-34 berhasil mengatasi masalah vanishing gradient, dan teknik augmentasi citra efektif dalam mencegah overfitting serta meningkatkan akurasi model. Pengujian lebih lanjut dalam situasi nyata juga memiliki potensi besar sistem ini untuk diadopsi sebagai alat bantu komunikasi bagi masyarakat umum dengan penyandang tunarungu dan tunawicara. Kata Kunci: Augmentasi, Computer Vision, Convolutional Neural Network (CNN), Overfitting, ResNet-34, Vanishing Gradient

Item Type: Thesis (Sarjana)
Subjects: A General Works > AI Indexes (General)
Divisions: Fakultas Teknik > Informatika
Depositing User: Rema Puri Irma Sri Katon
Date Deposited: 14 Aug 2024 08:55
Last Modified: 14 Aug 2024 08:55
URI: http://repositori.unsil.ac.id/id/eprint/13206

Actions (login required)

View Item View Item