PENGEMBANGAN SISTEM DETEKSI OBJEK BERBASIS SPEECH RECOGNITION DENGAN MENGGUNAKAN YOLOV8 UNTUK PENYANDANG TUNANETRA

Nugraha, Ghatan Fauzi (2024) PENGEMBANGAN SISTEM DETEKSI OBJEK BERBASIS SPEECH RECOGNITION DENGAN MENGGUNAKAN YOLOV8 UNTUK PENYANDANG TUNANETRA. Sarjana thesis, Universitas Siliwangi.

[img] Text
1. COVER.pdf
Download (132kB)
[img] Text
2. LEMBAR PENGESAHAN.pdf
Download (1MB)
[img] Text
3. PERNYATAAN.pdf
Download (414kB)
[img] Text
4. ABSTRAK.pdf
Download (236kB)
[img] Text
5. LEMBAR PERSEMBAHAN.pdf
Download (163kB)
[img] Text
6. KATA PENGANTAR.pdf
Download (213kB)
[img] Text
7. DAFTAR (DAFTAR ISI, TABEL, GAMBAR, DAN LAMPIRAN).pdf
Download (383kB)
[img] Text
8. BAB I.pdf
Download (256kB)
[img] Text
9. BAB II.pdf
Download (584kB)
[img] Text
10. BAB III.pdf
Download (726kB)
[img] Text
11. BAB IV.pdf
Restricted to Repository staff only
Download (2MB)
[img] Text
12. BAB V.pdf
Restricted to Repository staff only
Download (235kB)
[img] Text
13. DAFTAR PUSTAKA.pdf
Download (208kB)
[img] Text
14. LAMPIRAN.pdf
Restricted to Repository staff only
Download (4MB)

Abstract

Kesulitan penyandang tunanetra dalam melakukan aktivitas sehari-hari khususnya di dalam ruangan menjadi permasalahan serius. Keterbatasan dalam mengenali lingkungan sekitar dengan baik dapat membahayakan dan menciptakan ancaman bagi mereka. Pengembangan teknologi asistif untuk penyandang tunanetra merupakan salah satu solusi untuk permasalahan tersebut, khususnya dalam konteks meningkatkan kemandirian dan mobilitas mereka. Penelitian ini mengusulkan sebuah sistem deteksi objek berbasis speech recognition menggunakan algoritma YOLOv8 (You Only Look Once version 8). Sistem ini dirancang untuk membantu penyandang tunanetra dalam mengenali dan mengidentifikasi objek di sekitar mereka secara real-time melalui instruksi suara. Sistem dikembangkan dengan memanfaatkan YOLOv8 yang dioptimasi oleh Adam optimizer dan Particle Swarm Optimization untuk optimasi parameter. Selain itu, sistem dikombinasikan dengan teknologi pengenalan suara, pembangkitan sintesis suara, dan model perkiraan jarak objek yang mampu menerima dan memproses perintah suara dari pengguna. Implementasi ini mencakup pelatihan model YOLOv8 pada dataset yang relevan untuk memastikan kemampuan deteksi objek yang optimal dalam berbagai kondisi lingkungan. Eksperimen dilakukan dengan menggunakan dua dataset, yaitu MS COCO dataset untuk perbandingan dengan sistem yang ada saat ini dan custom dataset untuk pengujian secara real-time. Hasil eksperimen pada sistem yang dilatih pada MS COCO dataset menghasilkan nilai mAP50 dan mAP50-95 masing-masing sebesar 66.1% dan 44.7%. Selanjutnya hasil eksperimen pada situasi real-time yang menggunakan custom dataset menunjukkan hasil evaluasi mAP50 sebesar 74.7%, mAP50-95 sebesar 48.6%, kecepatan inferensi sebesar 14.4 ms, frame rate berada pada rentang 24-30 frame/s, dan akurasi perkiraan jarak objek sebesar 70.1% . Pengujian lebih lanjut dalam situasi nyata juga menunjukkan potensi besar sistem ini untuk diadopsi sebagai alat bantu mobilitas bagi penyandang tunanetra, memberikan mereka lebih banyak kemandirian dan keamanan dalam aktivitas sehari-hari. Kata Kunci: Adam Optimizer, Deteksi Objek, Particle Swarm Optimization, Speech Recognition, Text-to-Speech, YOLOv8.

Item Type: Thesis (Sarjana)
Subjects: A General Works > AI Indexes (General)
Divisions: Fakultas Teknik > Informatika
Depositing User: Rema Puri Irma Sri Katon
Date Deposited: 27 Aug 2024 01:17
Last Modified: 27 Aug 2024 01:17
URI: http://repositori.unsil.ac.id/id/eprint/13534

Actions (login required)

View Item View Item