Metode-Metode Penilaian Jawaban Esai Otomatis

Berbagai metode penilaian jawaban esai otomatis dengan menggunakan bantuan komputer telah dikembangkan. Walaupun setiap metode yang digunakan untuk menilai jawaban esai memiliki cara tersendiri namun hasil yang ingin dicapai tetaplah sama yaitu menciptakan sistem yang mampu memberikan penilaian esai secara otomatis seobyektif mungkin. Metode-metode tersebut antara lain Project Essay Grade (PEG), Intellegent Essay Assessor (IEA), Educational Testing Service (ETS I), Electronic Essay Rater (E-Rater), Conceptual Rater (CRater), Bayesian Essay Test Scoring System (BETSY), Intellegent Essay Marking System (IEMS), Automark, Scema Extract Analyse Report (SEAR), Paperless School free-text Marking Engine (PS-ME). Berikut ini akan dijelaskan beberapa metode tersebut.

Project Essay Grader (PEG)

PEG merupakan metode penilaian esai otomatis yang pertama kali dikembangkan. PEG mulai dikembangkan oleh Ellis Page pada tahun 1966 karena adanya permintaan untuk mengembangkan dalam skala besar sistem penilaian esai agar lebih praktis dan efektif [6]. PEG menggunakan analisa gaya bahasa dari sebuah set tulisan. Oleh karena itu, metode ini lebih mementingkan kualitas sebuah tulisan, tanpa memperhatikan aspek isi dari tulisan tersebut. Salah satu kelebihan dari PEG adalah nilai yang dihasilkan tidak jauh berbeda dengan human rater. Namun metode ini juga menerima banyak kritikan karena tidak memperhatikan aspek isi dari tulisan dan lebih memfokuskan kepada struktur kalimat.

Pada PEG, beberapa jawaban ujian esai dipilih untuk kemudian dinilai oleh beberapa orang penilai. Sebuah persamaan multiple regression dibuat dari hasil penilaian tersebut. Persamaan tersebut digunakan untuk menentukan kombinasi optimal dari pembobotan masing-masing karakter sehingga dapat digunakan untuk memprediksi nilai yang akan diberikan. Persamaan tersebut kemudian dipergunakan sebagai patokan penilaian untuk jawaban esai lainnya. Korelasi dari PEG dengan pemeriksaan manual menunjukkan nilai 87%.

Electronic Essay Rater (E-Rater)

Sistem ini dikembangkan oleh ETS (Educational Testing Service) yang telah memulai riset di bidang pengujian tulisan sejak tahun 1947. Dalam melakukan penilaian, metode ini menggunakan kombinasi dari teknik statistik dan teknik Natural Language Processing (NLP) untuk mendapatkan karakteristik linguistik dari sebuah tulisan, dan membandingkannya dengan sebuah tulisan lain yang telah diperiksa silabus.web.id secara manual. Dalam melakukan penilaian E-Rater menggunakan bantuan Microsoft NLP tool (MsNLP tool) untuk memecah kalimat yang panjang menjadi bagian-bagian. E-Rater memiliki skala penilaian antara 0 sampai 6, pada metode ini, sebuah tulisan akan memiliki nilai yang tinggi bila sesuai dengan topik yang diajukan, memiliki struktur yang kuat, koheren dan terorganisir, serta menggunakan variasi pilihan kata.

Di antara metode penilaian esai lainnya, E-Rater merupakan salah satu metode yang paling kompleks. Pada Februari 1999 ETS mulai menggunakan erater untuk melakukan penilaian terhadap Graduate Management Admissions Test (GMAT) Analytical Writing Assessment (AWA) – Ujian Analisis Penulisan, dan hasilnya E-Rater mempunyai korelasi hingga 94% dengan penilaian dua proffesor pada sebuah test yang melibatkan 1997 buah esai.

IntelliMetric

IntelliMetric dikembangkan oleh Vantage Learning, dan mulai digunakan sebagai metode penilaian esai pada tahun 1998. IntelliMetric merupakan metode penilaian esai otomatis pertama yang menggunakan Artificial Intelligence (AI). Sama seperti E-Rater, metode ini menggunakan NLP untuk menguraikan kalimat yang panjang menjadi kata-kata sesuai dengan aturan yang ada. IntelliMetric memfokuskan penilaian pada 5 domain utama yaitu fokus dan arti (Focus & Meaning), struktur kalimat (Organization), isi dan pengembangan kalimat (Content and Development), penggunaan dan gaya bahasa (Language Use and Style) dan sesuai dengan aturan bahasa (Mechanics and Conventions). Dari kelima domain tersebut dapat disimpulkan bahwa IntelliMetric menekankan penilaian pada dua kategori utama yaitu isi dan struktur kalimat.

Salah satu cara untuk menguji tingkat akurasi dari penilaian adalah dengan membandingkan frekuensi dimana dua pakar masalah setuju dengan penilaiannya satu sama lain. Dengan menggunakan scala 0 sampai 6, dua pakar masalah akan setuju sama lain sekitar 60% sampai 75%, sedangkan penilaian yang dilakukan IntelliMetric setuju dengan penilaian yang dilakukan oleh seorang pakar mendekati 98% sampai 100%. Dari data tersebut IntelliMetric dapat dikatakan salah satu metode penilaian esai otomatis yang terbaik yang ada saat ini.

Intelligent Essay Assessor (IEA)

Metode IEA dikembangkan pada akhir tahun 1990. Metode ini menggunakan teknik Latent Semantic Analysis (LSA) sebagai dasarnya. Teknik dasar LSA adalah dengan membandingkan sebuah tulisan dengan kata-kata yang dipilih sebagai referensi. LSA merepresentasikan kata-kata dalam sebuah tulisan ke dalam sebuah matriks semantik. Untuk melihat hubungan antara kata biasanya digunakan metode aljabar matriks yang dikenal dengan sebutan Singular Value Decomposition (SVD). Korelasi penilaian yang dilakukan dengan metode IEA bila dibandingkan dengan penilaian manual pada ujian GMAT menunjukkan angka 85% sampai 91%.

Sumber Bacaan

Dikli, S., “Automated Essay Scoring”, Turkish Online Journal of Distance Education-TOJDE, January 2006.

Chung, K. W. K., O’Neil, H. F., “Methodological approaches to online scoring of essays“, ERIC reproduction service no ED 418 101, 1997.

Rudner, L., Gagne, P., “An Ove rvie w of Three Approaches to Scoring Written Essays by Computer”, University of Maryland, College Park, 2001.

Streeter L., Psotka, J., Laham, D., MacCuish, D., “The Credible Grading Machine: Automated Essay Scoring in the DOD”, Juli 2002.

Heinich, R. “Instructional Media and Technology for Learning”, Prentice Hall, Inc., New Jersey, 1996.

C. Bambang Dwi K., Suhardi, “Identifikasi Faktor-Faktor Pengukur Kualitas Layanan Data pada Ganesha E-Learning System”, Information Network and System Research Group Laboratorium of Signal and System Department of Electrical Engineering, Institut Teknologi Bandung.