PENGEMBANGAN IMAGE-TEXT INTERACTION NETWORK MELALUI INTEGRASI VALENCE-AROUSAL UNTUK KLASIFIKASI EMOSI PADA CORETAN GAMBAR DAN TEKS REFLEKSI ANAK

Deteksi dini kondisi emosional anak seringkali terhambat oleh keterbatasan mereka dalam berkomunikasi verbal secara langsung. Oleh karena itu, analisis coretan gambar dan teks refleksi menjadi pendekatan psikologis alternatif untuk mengeksplorasi kondisi emosional anak. Namun, proses penilaian manual bersifat sangat subjektif, sementara model kecerdasan buatan yang ada saat ini sebagian besar seringkali mengabaikan kedalaman intensitas emosi anak. Penelitian ini mengusulkan pengembangan arsitektur multimodal Image-Text Interaction Network yang secara inovatif diintegrasikan dengan fitur afektif kontinu Valence Arousal untuk memproses elemen visual gambar dan semantik teks anak secara simultan. Eksperimen pada dataset KIDO menunjukan bahwa mekanisme penyelarasan cross-modal yang diperkaya dimensi VA berhasil menekan error rate relatif sebesar 15,8% dibandingkan model dasar tanpa Valence-Arousal, menghasilkan akurasi klasifikasi sebesar 97,06% untuk klasifikasi Happiness dan Sadness. Meskipun model mampu mengeksploitasi fitur Valence sebagai panduan, sisa sebagian kecil kesalahan prediksi utamanya dipicu oleh teks bernada positif yang sengaja digunakan anak untuk menutupi kesedihannya sehingga mengecoh sentimen model. Sebagai luaran, model ini difungsikan sebagai sistem pemindai dini untuk memfasilitasi Guru BK, Wali Kelas, dan Orang Tua dalam memberikan pendampingan psikologis yang lebih cepat, objektif, dan tanggap.

Kata Kunci: Komputasi Afektif, Pemindai Emosi, Multimodal, Cross-Modal Fusion, Deep Learning. v