https://frosthead.com

Dapatkah Komputer Benar-Benar Menilai Esai?

Di masa depan, komputer akan menjadi dokter, tentara, pemadam kebakaran, dan guru kita. Mereka akan mendiagnosis penyakit, merawat bayi kita, melindungi rumah kita dan mengajar anak-anak kita. Satu perusahaan sudah mengembangkan program komputer penilaian esai yang dapat mengambil beban profesor dan siswa kelas tes standar. Tapi bisakah komputer benar-benar menilai esai yang dibuat dengan cermat?

Perusahaan, edX, tentu saja berpikir begitu. Mereka sudah menawarkan kursus online ke institusi, bersama dengan sistem kecerdasan buatan yang akan menilai esai siswa. John Markoff di New York Times menjelaskan:

Anant Agarwal, seorang insinyur listrik yang adalah presiden EdX, meramalkan bahwa perangkat lunak penilaian instan akan menjadi alat pedagogis yang berguna, memungkinkan siswa untuk mengambil tes dan menulis esai berulang-ulang dan meningkatkan kualitas jawaban mereka. Dia mengatakan teknologi itu akan menawarkan keuntungan berbeda dari sistem kelas tradisional, di mana siswa sering menunggu berhari-hari atau berminggu-minggu untuk nilai.

"Ada nilai yang sangat besar dalam belajar dengan umpan balik instan, " kata Dr. Agarwal. "Para siswa memberi tahu kami bahwa mereka belajar lebih baik dengan umpan balik instan."

Apakah umpan balik instan itu berkualitas tinggi adalah pertanyaan lain. Skeptis para siswa kelas komputer ini tidak sulit ditemukan. Satu kelompok, yang menyebut dirinya Professionals Against Machine Scoring of Student Essays in High-Stakes Assessment mengeluarkan pernyataan dan mengumpulkan tanda tangan untuk berbicara menentang menyerahkan tugas penilaian ke komputer. Mereka menulis:

Mari kita hadapi realitas penilaian esai otomatis. Komputer tidak dapat "membaca." Mereka tidak dapat mengukur esensi dari komunikasi tertulis yang efektif: akurasi, penalaran, kecukupan bukti, akal sehat, sikap etis, argumen meyakinkan, organisasi yang bermakna, kejelasan, dan kejujuran, antara lain.

Petisi meminta legislator untuk berhenti mengandalkan komputer untuk penilaian dan sekolah-sekolah untuk berhenti membeli ke sistem penilaian otomatis.

Agarwal mengakui bahwa perangkat lunak itu bisa lebih baik dan berharap akan lebih baik dalam membedakan esai yang baik dari yang biasa-biasa saja. "Ini adalah pembelajaran mesin dan ada jalan panjang yang harus ditempuh, tetapi cukup bagus dan sisi baiknya sangat besar, " katanya kepada New York Times . Juga, katanya, siapa pun yang berpikir guru konsisten menipu dirinya sendiri. "Kami menemukan bahwa kualitas penilaiannya mirip dengan variasi yang Anda temukan dari instruktur ke instruktur."

Bahkan, beberapa penelitian telah menyarankan bahwa komputer dan guru mendorong jenis variabilitas yang sama dalam skor. Satu studi oleh Mark Shermis di University of Akron menyimpulkan bahwa "penilaian esai otomatis mampu menghasilkan skor yang mirip dengan skor manusia untuk item menulis respon panjang dengan kinerja yang sama untuk genre penulisan berbasis sumber dan tradisional." Namun studi Shermis, bagaimanapun, tidak pernah dipublikasikan dalam jurnal, dan peneliti lain mempertanyakan klaimnya. Les C. Perelman dari MIT menulis tanggapan terhadap makalah Shermis, menulis bahwa "pemeriksaan yang teliti terhadap metodologi makalah dan dataset yang digunakan menunjukkan bahwa klaim seperti itu tidak didukung oleh data dalam penelitian ini."

Kelompok profesional juga mengutip beberapa makalah yang menunjukkan bahwa komputer tidak sebagus guru dalam mengevaluasi siswa.

Kemungkinan besar, ini adalah pertanyaan apakah komputer ini cukup bagus dalam penilaian, bukan apakah mereka akan pernah atau tidak. Tapi bukan hanya guru yang akan mendapatkan teknologi tinggi, siswa juga akan. Jika siswa mempelajari apa yang dicari oleh program, mereka dapat menulis program sendiri untuk kemudian menulis esai yang sempurna berdasarkan spesifikasi perangkat lunak. Mungkin di masa depan, guru yang terkomputerisasi akan menilai siswa yang terkomputerisasi.

Lebih banyak dari Smithsonian.com:

Estonia Mengajar 100 Persen Siswa Kelas Pertama ke Kode
Mengajar Polisi untuk Melihat

Dapatkah Komputer Benar-Benar Menilai Esai?