Статья: Технология адаптивного компьютерного тестирования в профессиональной подготовке инженеров
Культура проектирования тестовых заданий связана с конструированием и представлением в инструментальной среде тестовых ситуаций, построенных с применением стандартных форм и методологических правил и отражающих смысл и содержание фрагментов учебного материала. Банк тестовых заданий по различным дисциплинам высшего профессионального образования должен соответствовать Государственному образовательному стандарту и требованиям спецификации взаимодействия тестов и тестирования глобального образовательного консорциума Global Learning Consortium, IMS. Этот банк должен содержать значительный объем тестовых заданий, структурированных по форме, содержанию трудности таким образом, что бы тесты, сформированные на их основе, обеспечили бы проверку качества образования. Для решения этой задачи предлагается использовать тестовые задания различного уровня трудности и различной формы, позволяющие проверять различные уровни знаний от простейшего узнавания до практического умения, использовать полученные знания при решении стандартных и нестандартных задач.
Процесс компьютерного адаптивного тестирования разделяется на два этапа в соответствии с уровнем знаний студентов, участвующих в процессе тестирования. На начальном этапе знание о степени обученности объекта у тестирующей системы полностью отсутствует, следовательно, проектирование траектории его заключений необходимо осуществлять с учетом эмпирических результатов, накапливаемых в процессе испытаний. На этой стадии тестовых проверок не следует полагаться на факторы случайности, а необходимо использовать возможности подбора меры трудности тестовых ситуаций и формировать “образ” тестируемого с учетом его поведения. На втором этапе подтверждаются первоначально выявленные причинно-следственные отношения, для чего используются методы систематизации научных наблюдений, регулярно приобретаются новые данные о качестве заключений испытуемого на однородные по мере трудности тестовые задания. На этой стадии можно выявить закономерности, присущие поведению каждого конкретного испытуемого из данного класса обученности. Важным обстоятельством является также то, что на этом этапе более верно оценивается реальная степень обученности испытуемого, что представляет дополнительный материал для правильного построения теоретической модели элементов однородной эмпирической системы компьютерного тестирования.
Во второй главе диссертации «Совершенствование форм и методов обучения студентов с помощью адаптивных компьютерных технологий» разработана теоретическая модель технологии компьютерного адаптивного тестирования как средства эффективного управления качеством обучения в инженерном вузе (рис.1). Проанализированы исторический и современный аспекты развития тестовой теории и технологии. Раскрывается сущность педагогических тестов, их функции, содержание, структура, формы и виды. Дается анализ состояния проблемы адаптивного компьютерного тестирования для проведения аттестации и аккредитации вуза.
Рисунок 1. Модель технологии адаптивного компьютерного тестирования (АКТ)
Создание и широкое внедрение компьютерных обучающих программ по различным дисциплинам сдерживается в основном отсутствием у подавляющего большинства преподавателей навыков программирования. Поэтому в настоящее время актуально создание сред разработки и создания баз тестовых заданий, формирования вариантов тестирования и проведения контроля, использование которых требует минимальных навыков и умений работы с компьютером. Одной из подобных оболочек является созданный автором Универсальный тестовый комплекс (УТК).
В рамках диссертационного исследования дано рабочее определение технологии адаптивного компьютерного тестирования как системы способов организации контроля уровня обученности студентов, включающей в себя следующие необходимые элементы: тест как инструмент педагогического измерения; процедуру, алгоритм, способы использования этого инструмента для объективизации эффективности, репрезентативности измерения уровня обученности, подготовленности обучающихся; программную обработку, интерпретацию результатов тестирования.
В диссертации показано, что в русле исследования значительный теоретический и практический интерес представляют классификации, разработанные В.С.Аванесовым, К.Ингенкампом, В.Г.Кузнецовым, А.Н.Майоровым. В работе анализируются позитивные аспекты данных классификаций и отмечается, каких из этих аспектов мы придерживались в диссертационном исследовании.
Анализируется состояние педагогического тестирования в современной образовательной практике, основные трудности его внедрения в инженерном вузе и условия, необходимые для организации успешного применения тестовой технологии.
Созданный автором Универсальный тестовый комплекс (УТК) может быть использован в учебном процессе, как в вузе, так и в школе, отдельные его модули могут предоставляться обучающимся для домашнего использования (тренировочное тестирование). При этом не требуется знаний основ программирования от преподавателей, формирующих содержательную часть тестовой базы. Комплекс позволяет проводить тестирование: сетевое в локальных сетях и сети Internet с удаленным доступом, а также локальное. УТК выполняет следующие функции:
создание, хранение и редактирование гомогенных баз тестовых заданий по дисциплинам;
формирование из гомогенных гетерогенных баз тестовых заданий с возможностью редактирования и дополнения;
компоновка гомогенных и гетерогенных вариантов тестирования;
апробация тестовых заданий с выявлением уровня сложности для адаптивного тестирования;
задание алгоритмов адаптивности тестирования;
изменение алгоритма адаптивности в процессе тестирования;
обработка результатов тестирования, формирование ведомостей и сертификатов;
сбор и анализ статистической информации.
УТК служит оболочкой для создания и ведения баз тестовых заданий различных типов. Создание и хранение тестовых заданий подразумевает обработку исходного авторского материала и выполнение автоматизированной компоновки тестов. Ввод исходных данных (заданий) производится с помощью тестового редактора Microsoft Word, основные навыки работы с которым имеют многие пользователи. Кроме того существует возможность использования уже готовых электронных материалов в качестве заданий. Эта возможность избавляет пользователя от большого объема рутинной работы.
Тестовые базы хранятся в собственном формате программы, но их набор и первоначальное редактирование осуществляется стандартным редактором MSWord, знакомым большинству преподавателей.
Отличительной особенностью данной системы является то, что в ней предусмотрены различные виды тестовых вопросов. Это позволяет создавать комплексные тесты любого уровня сложности. Комплекс состоит из создателя баз тестовых заданий, генератора вариантов тестирования, программы мониторинга и управления тестированием, программы обработки бланочного тестирования и программы сетевого или локального тестирования. Создатель баз служит для экспортирования баз тестовых заданий из редактора MSWord в собственный формат программы, упорядочивания тестов по их спецификации. Генератор вариантов тестирования служит для генерации тестовых материалов (вариантов) по заранее созданным правилам. Тестовые варианты могут быть использованы при проведении бланочного и компьютерного тестирования. В системе предусмотрена формальная обработка ответа (сравнение ответа с образцом) и сохранение результатов тестирования.
В третьей главе диссертации «Качественная и количественная оценка эффективности использования технологии адаптивного компьютерного тестирования» раскрывается экспериментальное обоснование исследуемой проблемы в ходе констатирующего, организационно-педагогического и формирующего этапов эксперимента. Показаны организация и представлены результаты опытно-экспериментальной проверки технологии адаптивного компьютерного тестирования как средства эффективного управления качеством обучения
Основная задача констатирующего эксперимента состояла в изучении состояния проблемы реализации технологии адаптивного компьюерного тестирования в практике руководства Технологическим университетом. Заключительный этап эксперимента проходил в период с 2004г по 2006г. Экспериментальным исследованием было охвачено более 7000 студентов и 200 сотрудников КубГТУ.
В Центре тестирования КубГТУ действует следующая схема контроля качества знаний студентов (Рис.2).
Рис.2 Схема контроля качества знаний
Содержание блоков структурной схемы контроля качества знаний студентов КубГТУ приведено в таблице 1
Достоинством данной системы тестирования является возможность отследить изменение статистических данных результатов во времени. Это позволяет проанализировать успеваемость в различных "срезах" (по числу тестируемых, по предметам, семестрам, курсам и т.д.) В системе предполагается сбор и анализ статистической информации для обеспечения "обратной связи", без которой невозможно грамотное тестирование и проведение мониторинга. Для проведения исследований применяется аппарат современной математической статистики. Также предусматривается просмотр результатов в различных "срезах", необходимых для детального анализа и мониторинга.
Статистическая обработка, принятая центром тестирования МО РФ подразумевает построение отчетов:
Гистограммы распределения результатов педагогических измерений (рис. 3).