Реферат: Web-тестирование в дистанционном обучении

Более новая технология для выдачи вопросов и оценки ответов - JavaScript [McKeever, McKeever и Elder 1997]. Интерфейс, обеспечиваемый технологией взаимодействия, основанной на JavaScript, подобен интерфейсу, реализуемому с помощью технологии «форма/CGI». В то же время, функциональность JavaScript поддерживает более продвинутые интерактивные вопросы, например, нахождение релевантного фрагмента в тексте. При использовании «чистой» технологии JavaScript все данные для оценки вопроса и организации обратной связи, а также программа оценки, хранятся как часть вопроса. Это означает, что вопрос, реализованный с помощью JavaScript, может работать в автономном режиме. Это в свою очередь означает, что вопрос самостоятелен: все, необходимое для его представления и оценки находится в одном файле, что является очень привлекательной возможностью для создателей вопросов. Но это также означает, что обучаемые получают доступ к ресурсам вопроса и могут «вскрыть» его. Также, при использовании «чистой» технологии JavaScript, отсутствует возможность регистрации результатов и проставления бала. Все вышеперечисленное показывает, что JavaScript лучше использовать для самооценки, нежели в официальных тестах. По нашему мнению наилучшим выходом для JavaScript будет технология JavaScript/сервер, которая сможет занять достойное место в Web-основанном обучении. Комбинация JavaScript с технологией «стороны сервера» может быть использована для представления большего количества типов вопросов и повышения интерактивности процесса тестирования (Javascript), а также для реализации удобного пользовательского интерфейса, обеспечения оценки и ведения записи (CGI) [ComputerPREP 1998; WebCT 1999].

Более высокий уровень свободы интерфейса может быть достигнут, с помощью технологии внедрения (plug-in)[i] . Единственный пример серьезного использования этой технологии в образовании - Shockwaveplug-in [Macromedia 1998], который может запускать мультимедиа-презентации, подготовленные с помощью набора авторских средств Macromedia. В настоящее время, технология Shockwave используется в WBE главным образом для передачи анимационных роликов, однако эта технология обладает гораздо более мощными возможностями. В действительности, с помощью средств Macromedia при относительно малых затратах может быть разработано большое количество качественных вопросов, которые могут доставляться обучаемому с использованием технологии Shockwave. Некоторым примером может служить Medtec [Eliot, Neiman & Lamar 1997]. Недостатком этого подхода, как и в случае JavaScript, является то, что регистрация результатов оценки требует постоянного подключения к серверу. До недавнего времени, Shockwave не обеспечивала никакой Internet-функциональности, и ее пользователи должны были применять специальные приемы (например, сохранение результатов во временном файле). Из-за этих проблем некоторые коллективы, начинавшие работать с Shockwave, затем переориентировались на более мощную технологию Java [Eliot, Neiman & Lamar 1997]. Однако, Shockwave все еще может использоваться как платформа для доставки вопросов для самооценки.

На сегодняшний день самый высокий уровень технологии выдачи вопроса обеспечивается Java. Важное преимущество Java состоит в том, что она является полностью законченным языком программирования, разработанным для интеграции с функциональными возможностями браузера и Internet. Java объединяет сетевое преимущество технологии «форма/CGI» и интерактивность Shockwave и JavaScript. Java позволяет разработать любой интерфейс вопроса и в то же время, вопросы, созданные с помощью Java, могут легко взаимодействовать с браузером, также как с любым объектом Internet (сервер или Java-приложение). Примерами систем, которые широко используют Java-основанные вопросы являются FLAX [Routen, Graves & Ryan 1997], NetTest [Ni, Zhang & Cooley 1997], Mallard [Graham & Trick 1997], и Medtec [Eliot, Neiman & Lamar 1997]. Разработать интерфейс вопроса на Java гораздо сложнее, чем с помощью технологией «форма/CGI», поэтому не удивительно, что все перечисленные системы, были разработаны коллективами профессиональных программистов. Однако сложность вряд ли станет препятствием для этой технологии. С помощью Java в настоящее время разработано большое количество типов вопросов, которые не могут быть реализованы с помощью технологии «форма/CGI». К таким вопросам относятся, вопросы множественного указывания, графические вопросы и специализированные типы вопросов. Разработка вопросов на Java может стать доступной для обычных авторов с появлением Java-основанных авторских средств [Ni, Zhang & Cooley 1997; Routen, Graves & Ryan 1997].

Стадия Оценки

Как мы уже говорили, выбор технологии взаимодействия заметно влияет на функциональные возможности стадии оценки. Оценка – это стадия, на которой ответы обучаемых определяются как правильные, неправильные или частично правильные (например, неполные). Обычно, правильные и неправильные ответы готовятся во время создания, так что оценка является или жестко встроенной в вопрос, как это делается в вопросах типа [МВ/ОО], или осуществляется путем простого сравнения (в вопросах открытого типа). Существует несколько случаев, требующих более продвинутой технологии оценки. В некоторых предметных областях может возникнуть ситуация, когда правильные ответы могут не иметь побуквенного соответствия с хранимым правильным ответом. Примеры могут служить: набор неупорядоченных слов, вещественное число, простое алгебраическое выражение [Holtz 1995; Hubler & Assad 1995]. В этой ситуации требуется программа сравнения. Некоторые системы могут применять для этих целей специальные интеллектуальные технологии [Hubler & Assad 1995]. Наконец, в некоторых случаях для оценки ответов необходим «эксперт предметной области», такой как интерпретатор Lisp для программирования на Lisp, как в системе ELM-ART [Brusilovsky, Schwarz & Weber 1996], или компьютерная алгебраическая система для алгебраических предметных областей [Pohjolainen, Multisilta & Antchev 1997]. Первые два варианта оценки очень просты и могут быть реализованы с использованием любой интерфейсной технологией – даже JavaScript, может использоваться, чтобы написать простую программу сравнения. Если же требуются более сложные вычисления (как в случае интеллектуального соответствия ответа), приходится обращаться к полноценному программированию на Java или программе на стороне сервера, использующей CGI-интерфейс. Если для оценки требуется «эксперт предметной области», то единственной альтернативой в настоящее время является запуск «эксперта» на стороне сервера с CGI-шлюзом. Фактически, многие системы типа «эксперт предметной области» (например, компьютерная алгебраическая система Mathematica) имеют CGI-шлюз.

Обычно в функции обратной связи входит: сообщение о том, что ответ правильный, не правильный или частично правильный; выдача правильного ответа, обеспечение индивидуальной обратной связи. Индивидуальная обратная связь может сообщать, что является верным в правильном ответе, что неверно в неправильном и частично неправильном ответе, обеспечивается некоторая мотивационная обратная связь, обеспечивать мотивирующую обратную связь, а также выдавать информацию или ссылки для продолжения обучения. Вся индивидуальная обратная связь обычно создается и хранится вместе с вопросом. Система, включающая определенные понятия или разделы с проставленными весовыми коэффициентами как часть метаданных вопроса, может обеспечивать качественную корректирующую обратную связь без непосредственного создания, так как она «знает», какие знания пропущены, и где их можно найти. Это означает, что мощность обратной связи определяется технологией создания и хранения вопросов. Количество информации, предоставляемое обратной связью, зависит от контекста. При самооценке обучаемый обычно получает всю возможную обратную связь – чем больше, тем лучше. Эта обратная связь – очень важный дидактический ресурс. В случае официального тестирования обучаемому обычно не предоставляется ни правильного варианта ответа, ни, даже, является ли его ответ правильным. Единственной обратной связью по окончании всего теста может быть общее число правильных ответов в тесте [Rehak 1997]. Это значительно снижает возможность обмана, но также и возможность обучаться. Для поддержки процесса обучения, многие существующие WBE-системы делают оценку менее строгой и обеспечивают больше обратной связи, пытаясь бороться с обманами другими средствами. Единственный способ объединить обучение и строгую оценку состоит в использовании более продвинутых технологий, позволяющих получить неограниченное число вопросов: использование параметризованных вопросов [Brown 1997; Hubler & Assad 1995; Kashy etal. 1997; Merat & Chung 1997] и генерация тестов на основе базы знаний [Элиот, Нейман & Ламар 1997; Weber & Specht 1997]. В этой ситуации WBE-система может обеспечить полную обратную связь, препятствуя при этом обману.

Если тест предназначен исключительно для самооценки, то генерация обратной связи должна быть главной обязанностью WBE-системы на послетестовой стадии. Обучаемый – единственный, кому необходимо видеть результаты тестирования. Во контексте оценки, главной обязанностью WBE-системы в процессе тестирования является проставление балов по итогам выполнения обучаемым теста и запись этих данных для будущего использования. Окончательный бал и другие результаты теста важны для преподавателей, администраторов курса и непосредственно обучаемых (многие авторы отмечают, что возможность видеть свои результаты в режиме он-лайн, отмечается большинством обучаемых как положительная особенность WBE-систем). Ранние WBE системы обеспечивали довольно ограниченную поддержку преподавателя на стадии оценки теста. Результаты или посылались преподавателю по электронной почте или регистрировались в специальном файле. В обоих случаях преподавателю приходилось ставить окончательный бал и делать записи лично: обработать результаты теста и поставить окончательный бал, сделать запись о результатах и обеспечить, доступ к ним всем заинтересованным лицам согласно политике университета. Такой вариант просто реализовать, и он не требует от преподавателя изучения новых технологий. Вследствие последней причины возможность использования этой технологии все еще предусматривается в нескольких продвинутых системах [Carbone и Schendzielorz 1997]. Однако, если система которая не обеспечивает никаких других возможностей для ведения записей и проставления оценок, она явно находится ниже современного уровня. На сегодняшний день современная WBE-система должна быть способна оценить результаты теста автоматически и занести их в базу данных. Кроме того, она должна поддерживать несколько уровней ограничения доступа к записям для студентов, преподавателей и администраторов. Ограничения обычно определяются политикой университета. Например, обучаемому могут не разрешить просматривать результаты других обучаемых, или преподавателю могут позволить изменять окончательные балы, проставленные автоматически. Многие системы университетского уровня [Bogley etal. 1996; Brown 1997; Carbone & Schendzielorz 1997; Gorp & Boysen 1996; Hubler & Assad 1995; MacDougall 1997; Ni, Zhang & Cooley 1997; Rehak 1997] и почти все коммерческие системы [Lotus 1999; WBT Systems 1999; WebCT 1999] обеспечивают эти требования в той или иной степени. Менее продвинутые системы обычно хранят результаты в структурированных файлах и обеспечивают ограниченные возможности доступа. Продвинутые системы используют для хранения информации о результатах тестирования технологию баз данных и обеспечивают широкий набор возможностей просмотра оценок обучаемых и другой информации о тестировании, такой как время, затраченное на прохождение теста, количество попыток и т.д. Технология баз данных облегчает генерацию разнообразной статистической информации, на основе результатов большого количества обучаемых во многих тестах курса. В сетевой классной комнате, где общение «обучаемого-со-обучаемым» и «обучаемого-с-преподавателем» ограничено, сравнительная статистика очень важна для преподавателей и обучаемых, она помогает получить «чувство» классной комнаты. Например, сравнивая средний бал класса с личными результатами, обучаемый может определить уровень класса. Сравнивая результаты класса в различных тестах, преподаватель может обнаружить слишком простые, слишком трудные и даже неправильно составленные вопросы.

Список литературы

[Asymetrix 1998] Asymetrix (1998). Librarian, Asymetrix Learning Systems, Inc., Bellevue, WA. http://www.ASYMETRIX.com/products/librarian/ (Accessed 20 September, 1998)

[Blackboard 1998] Blackboard (1998). CourseInfo 1.5, Blackboard Inc. http://www.blackboard.net/ps_courseinfo.htm (Accessed 21 August, 1998)

[Bogley et al. 1996] Bogley, W.A. et al. (1996). New pedagogies and tools for Web based calculus. WebNet'96, World Conference of the Web Society, AACE. 33-39.

[Brown 1997] Brown, D.J. (1997). Writing Web-based questions with Mallard. FIE'97, Frontiers in Education Conference, Stipes Publishing L.L.C. 1502.

[Brusilovsky, Schwarz & Weber 1996] Brusilovsky, P., Schwarz, E., & Weber, G. (1996). ELM-ART: An intelligent tutoring system on World Wide Web. In Frasson, C., Gauthier, G., & Lesgold, A. (Ed.), Intelligent Tutoring Systems (Lecture Notes in Computer Science, Vol. 1086). Berlin: Springer Verlag. 261-269.

[Byrnes, Debreceny & Gilmour 1995] Byrnes, R., Debreceny, R., & Gilmour, P. (1995). The Development of a Multiple-Choice and True-False Testing Environment on the Web. Ausweb95: The First Australian World-Wide Web Conference, Southern Cross University Press. http://elmo.scu.edu.au/sponsored/ausweb/ausweb95/papers/education3/byrnes/

[Campos Pimentel, dos Santos Junior & de Mattos Fortes 1998] Campos Pimentel, M.d.G., dos Santos Junior, J.B., & de Mattos Fortes, R.P. (1998). Tools for authoring and presenting structured teaching material in the WWW. WebNet'98, World Conference of the WWW, Internet, and Intranet, AACE. 194-199.

[Carbone & Schendzielorz 1997] Carbone, A., & Schendzielorz, P. (1997). Developing and integrating a Web-based quiz generator into the curriculum. WebNet'97, World Conference of the WWW, Internet and Intranet, AACE. 90-95.

[ComputerPREP 1998] ComputerPREP (1998). WebAssessor, ComputerPREP, Inc, Phoenix, AZ. http://www.webassessor.com (Accessed 23 May, 1998)

[Desmarais 1998] Desmarais, M.C. (1998). Self-Learning Guide Stuttgart, Germany, CRIM, Montreal. http://www.crim.ca/hci/demof/gaa/introduction.html (Accessed July 5, 1999)

[Eliot, Neiman & Lamar 1997] Eliot, C., Neiman, D., & Lamar, M. (1997). Medtec: A Web-based intelligent tutor for basic anatomy. WebNet'97, World Conference of the WWW, Internet and Intranet, AACE. 161-165.

[Gorp & Boysen 1996] Gorp, M.J.V., & Boysen, P. (1996). ClassNet: Managing the virtual classroom. WebNet'96, World Conference of the Web Society, AACE. 457-461.

[Graham, Swafford & Brown 1997] Graham, C.R., Swafford, M.L., & Brown, D.J. (1997). Mallard: A Java Enhanced Learning Environment. WebNet'97, World Conference of the WWW, Internet and Intranet, AACE. 634-636.

[Graham & Trick 1997] Graham, C.R., & Trick, T.N. (1997). An innovative approach to asynchronous learning using Mallard: Application of Java applets in a freshman course. FIE'97, Frontiers in Education Conference, Stipes Publishing L.L.C. 238-244.

[Holtz 1995] Holtz, N.M. (1995). The Tutorial Gateway, Carleton University, Ottawa, CA. http://www.civeng.carleton.ca/~nholtz/tut/doc/doc.html (Accessed 1995)

[Hubler & Assad 1995] Hubler, A.W., & Assad, A.M. (1995). CyberProf: An Intelligent Human-Computer Interface for Asynchronous Wide Area Training and Breakching. 4th International World Wide Web Conference. http://www.w3.org/pub/Conferences/WWW4/Papers/247/

[Kashy et al. 1997] Kashy, E. et al. (1997). Using networked tools to enhanse student success rates in large classes. FIE'97, Frontiers in Education Conference, Stipes Publishing L.L.C. 233-237.

[Lee & Wang 1997] Lee, S.H., & Wang, C.J. (1997). Intelligent hypermedia learning system on the distributed environment. ED-MEDIA/ED-TELECOM'97 - World Conference on Educational Multimedia/Hypermedia and World Conference on Educational Telecommunications, AACE. 625-630.

[Lotus 1999] Lotus (1999). LearningSpace 2.0, Lotus, Cambridge, MA. http://www.lotus.com/products/learningspace.nsf (Accessed 5 June, 1999)

[MacDougall 1997] MacDougall, G. (1997). The Acadia advantage adademic development centre and the authomatic courseware management systems. ED-MEDIA/ED-TELECOM'97 - World Conference on Educational Multimedia/Hypermedia and World Conference on Educational Telecommunications, AACE. 647-652.

[Macromedia 1998] Macromedia (1998). Shockwave, AACE. http://www.macromedia.com/shockwave/ (Accessed September 12, 1998)

[McKeever, McKeever & Elder 1997] McKeever, S., McKeever, D., & Elder, J. (1997). An authoring tool for constructing interactive exercises. WebNet'97, World Conference of the WWW, Internet and Intranet, AACE. 695-696.

[Merat & Chung 1997] Merat, F.L., & Chung, D. (1997). World Wide Web approach to teaching microprocessors. FIE'97, Frontiers in Education Conference, Stipes Publishing L.L.C. 838-841.