PENGEMBANGAN MODEL PENILAIAN ESAI OTOMATIS MENGGUNAKAN COSINE SIMILARITY DAN LARGE LANGUAGE MODEL (LLM) UNTUK EVALUASI JAWABAN MAHASISWA

Penilaian esai manual di lingkungan akademik seringkali menghadapi masalah subjektivitas, inkonsistensi, dan beban waktu yang tinggi bagi pengajar. Penelitian ini bertujuan mengembangkan model penilaian esai otomatis inovatif dengan mengombinasikan Cosine Similarity dan Large Language Model (LLM) untuk mengevaluasi jawaban mahasiswa. Cosine Similarity digunakan untuk mengukur kesamaan leksikal antara jawaban mahasiswa dan kunci jawaban, sedangkan LLM dimanfaatkan untuk analisis semantik yang lebih mendalam, mencakup struktur argumen, kohesi, dan kedalaman analisis. Proses penelitian meliputi text preprocessing (tokenization, lower casing, stopword removal, lemmatization) dan pembobotan Term Frequency (TF) pada dataset esai berbahasa Indonesia. Penilaian dilakukan dalam tiga skenario: Cosine Similarity saja, LLM saja, dan model hibrida. Hasil evaluasi menunjukkan Cosine Similarity memiliki Mean Absolute Percentage Error (MAPE) 19,08%, sementara LLM menunjukkan performa lebih baik dengan MAPE 7,85%. Model hibrida, yang mengombinasikan Cosine Similarity (40%) dan LLM (60%), mencapai akurasi paling optimal yaitu dengan MAPE 5,49%. Pendekatan hibrid ini terbukti meningkatkan akurasi sebesar 71,2% dibandingkan metode awal dan menunjukkan penurunan MAPE yang konsisten dari setiap model, mencerminkan perbaikan signifikan tidak hanya dalam akurasi, tetapi juga konsistensi penilaian. Temuan ini menegaskan bahwa integrasi kedua metode secara signifikan meningkatkan efektivitas sistem penilaian esai otomatis, menjadikannya alternatif yang lebih objektif, efisien, dan andal dibandingkan penilaian manual dalam konteks evaluasi akademik.

Kata Kunci: Penilaian Esai Otomatis, Cosine Similarity, Large Language Model (LLM), Text Preprocessing, Mean Absolute Percentage Error (MAPE)