ANALISIS SKEMA-SKEMA KEMIRIPAN VEKTOR PADASISTEM PENILAIAN UJIAN ESSAY ONLINE
2016: Seminar Informatika Aplikatif Polinema (SIAP)
Abstract
Setiap proses pembelajaran memerlukan alat evaluasi untuk mengukur tingkat pemahaman siswa. Jenis
evaluasi dapat berupa soal pilihan ganda, isian singkat dan essay. Beberapa penelitian mengungkapkan ujian
essaylebih baik dari jenis evaluasi lainnya. Penilaian essaysecara otomatis dibutuhkan untuk menghemat waktu
pengajar dalam mengoreksi jawaban. Namun, pengembangan untuk penilaian essay masih terus dilakukan
sampai sekarang. Tujuannya adalah untuk memperoleh nilai keakurasian yang lebih baik dari metode yang
digunakan dalam penilaian.
Berdasarkan permasalahan tersebut maka dilakukan penelitian mengenai analisis perbandingan metode
kemiripan untuk penilaian ujian essay online. Metode kemiripan yang dibandingkan adalah Cosine Similarity,
Euclidean Distance dan Jaccard. Ketiga metode menghasilkan nilai koefisien (0-1). Nilai koefisien
menunjukkan seberapa mirip jawaban siswa dengan kunci jawaban. Koefisien dikonversi kedalam nilai antara 0-100. Untuk mengetahui metode yang terbaik, dilakukan pebandingan antara nilai sistem dan nilai manual dengan
skala yang sama. Data yang digunakan sebanyak 2162data. Data ini diperoleh dari 50 siswa yang menjawab 40
soal pada bidang politik, olahraga, lifestyledan teknologi.
Penelitian ini menunjukkan bahwa skema Jaccard dengan stemming lebih kecil dibandingkan 2 skema
kemiripan lainnya. Nilai percentage errordari Jaccardyaitu 52.31%, Euclidean Distance332.90% dan Jaccard
59.49%. Bagimanapun, nilai ini terlalu tinggi digunakan sebagai metode penilaian online, sehingga perlu adanya
metode lain yang memiliki errorlebih kecil.
evaluasi dapat berupa soal pilihan ganda, isian singkat dan essay. Beberapa penelitian mengungkapkan ujian
essaylebih baik dari jenis evaluasi lainnya. Penilaian essaysecara otomatis dibutuhkan untuk menghemat waktu
pengajar dalam mengoreksi jawaban. Namun, pengembangan untuk penilaian essay masih terus dilakukan
sampai sekarang. Tujuannya adalah untuk memperoleh nilai keakurasian yang lebih baik dari metode yang
digunakan dalam penilaian.
Berdasarkan permasalahan tersebut maka dilakukan penelitian mengenai analisis perbandingan metode
kemiripan untuk penilaian ujian essay online. Metode kemiripan yang dibandingkan adalah Cosine Similarity,
Euclidean Distance dan Jaccard. Ketiga metode menghasilkan nilai koefisien (0-1). Nilai koefisien
menunjukkan seberapa mirip jawaban siswa dengan kunci jawaban. Koefisien dikonversi kedalam nilai antara 0-100. Untuk mengetahui metode yang terbaik, dilakukan pebandingan antara nilai sistem dan nilai manual dengan
skala yang sama. Data yang digunakan sebanyak 2162data. Data ini diperoleh dari 50 siswa yang menjawab 40
soal pada bidang politik, olahraga, lifestyledan teknologi.
Penelitian ini menunjukkan bahwa skema Jaccard dengan stemming lebih kecil dibandingkan 2 skema
kemiripan lainnya. Nilai percentage errordari Jaccardyaitu 52.31%, Euclidean Distance332.90% dan Jaccard
59.49%. Bagimanapun, nilai ini terlalu tinggi digunakan sebagai metode penilaian online, sehingga perlu adanya
metode lain yang memiliki errorlebih kecil.
Copyright ©2020 Jurusan Teknologi Informasi - Politeknik Negeri Malang.
References
Frakes, W. B. 2012. Stemming. [Online] Tersedia :
http://orion.lcg.ufrj.br/Dr.Dobbs/books/book5
/chap08.htm[20 Mei 2016]
Carl J. Wenning, Ed.D. (2014) : All Student Lab
Handbook Physics Teacher. Education
Program Coordinator 1994-2008, 12-32
Ghosh, S., Fatima, S. (2011): Design of an
Automated Essay Grading (AEG) System in
Indian Context, International Journal of
Computer Applications (0975 - 8887), vol. 1,
no. 11, pp 60
Halabi, A., Ahmed Derar Islim and Mohamed
Zakaria Kurdi. (2010): A Hybrid Approach
for Indexing and Retrieval of Archaeological
Textual Information, Lecture Notes in
Computer Science, 2010, vol. 6279,
Knowledge-Based and Intelligent
Information and Engineering Systems, pp
527-535.
Kakkonen, T. and Sutinen, E. (2004) : Automatic
Assessment of The Content of Essays Based
on Course Materials, In Proc. the Int'1Conf.
on Information Technology: Research and
Education, 126-130.
Manning, Christopher D., Prabhakar Raghavan,
Hinrich Schutze, (2009) : An Introduction to
Information Retrieval, Cambridge:
Cambridge University Presss, 22-32
Salton, Wong, & Yang. (1975) : A Vector Space
Model for Information Retrieval. JASIS, 613-620
Tan, Pang-Ning, Michael Steinbach, Vipin Kumar.
(2006) : Introduction To Data Mining. New
York: Pearson Education, Inc.
Yates, R. Baeza and B. Ribeiro-Neto. (1997) :
Modern Information Retrieval. Addison
Wesley.
http://orion.lcg.ufrj.br/Dr.Dobbs/books/book5
/chap08.htm[20 Mei 2016]
Carl J. Wenning, Ed.D. (2014) : All Student Lab
Handbook Physics Teacher. Education
Program Coordinator 1994-2008, 12-32
Ghosh, S., Fatima, S. (2011): Design of an
Automated Essay Grading (AEG) System in
Indian Context, International Journal of
Computer Applications (0975 - 8887), vol. 1,
no. 11, pp 60
Halabi, A., Ahmed Derar Islim and Mohamed
Zakaria Kurdi. (2010): A Hybrid Approach
for Indexing and Retrieval of Archaeological
Textual Information, Lecture Notes in
Computer Science, 2010, vol. 6279,
Knowledge-Based and Intelligent
Information and Engineering Systems, pp
527-535.
Kakkonen, T. and Sutinen, E. (2004) : Automatic
Assessment of The Content of Essays Based
on Course Materials, In Proc. the Int'1Conf.
on Information Technology: Research and
Education, 126-130.
Manning, Christopher D., Prabhakar Raghavan,
Hinrich Schutze, (2009) : An Introduction to
Information Retrieval, Cambridge:
Cambridge University Presss, 22-32
Salton, Wong, & Yang. (1975) : A Vector Space
Model for Information Retrieval. JASIS, 613-620
Tan, Pang-Ning, Michael Steinbach, Vipin Kumar.
(2006) : Introduction To Data Mining. New
York: Pearson Education, Inc.
Yates, R. Baeza and B. Ribeiro-Neto. (1997) :
Modern Information Retrieval. Addison
Wesley.