EKSPLORASI HYPERPARAMETER DALAM PEMODELAN CROSS-LINGUAL LANGUAGE MODEL ROBUSTLY OPTIMIZED BERT PRETRAINING APPROACH (XLM-ROBERTA) UNTUK KLASIFIKASI EMOSI PADA TEKS BILINGUAL

Penelitian ini bertujuan mengeksplorasi penerapan model XLM-RoBERTa dalam klasifikasi emosi berbasis teks bilingual, khususnya Bahasa Indonesia dan Bahasa Inggris. Fokus utama terletak pada analisis pengaruh representasi emoji dalam teks serta konfigurasi jumlah epoch sebagai bagian dari eksplorasi hyperparameter. Sebelum pelatihan, teks dibersihkan dari karakter noise seperti simbol khusus. Penelitian dilakukan melalui dua skenario pelatihan, yaitu mengonversi emoji menjadi teks deskriptif, dan menghapusnya, dengan tiga konfigurasi epoch: 3, 5, dan 10. Teknik early stopping digunakan untuk mencegah overfitting. Evaluasi dilakukan menggunakan akurasi dan confusion matrix pada masing-masing skenario. Hasil menunjukkan bahwa keberadaan emoji berkontribusi positif terhadap akurasi model, dengan akurasi tertinggi sebesar 96.33% pada data Bahasa Indonesia dan 93.45% pada data Bahasa Inggris. Selain itu, konfigurasi epoch optimal tidak selalu sama pada tiap skenario. Data Bahasa Inggris menunjukkan perbedaan hasil tergantung keberadaan emoji, sedangkan data Bahasa Indonesia cenderung konsisten pada satu konfigurasi. Hal ini mengindikasikan bahwa kompleksitas serta karakteristik data memengaruhi proses pelatihan model. Penelitian ini berkontribusi pada pengembangan model klasifikasi emosi pada teks bilingual dengan mempertimbangkan unsur nonverbal seperti emoji.

Kata Kunci — Eksplorasi Hyperparameter, Emoji, Noise Character, Teks Bilingual, XLM-RoBERTa