Реферат: К вопросу о компьютерных программах учебного контроля знаний

Для пояснения способа предположим, что имеется база заданий, охватывающая проверку знаний в рамках темы (курса). Каждому из заданий приписывается та или иная трудность в принятой шкале, например 0 –100 баллов, разбитой для простоты равномерно на 10 участков: 0-10, 10-20 и т.д. Положим вначале, что задания распределены равномерно на шкале трудности, симметрично относительно центрального значения Х (здесь Х= 50 баллов) и заполняют шкалу протяженностью 2А, а учет трудности производится с точностью до 10. Равномерно означает, что число упражнений в пределах каждого участка примерно одинаково. За каждое правильно выполненное задание испытуемому начисляется число баллов, равное трудности задания. За неверное решение – сбрасывается число, дополняющее трудность до 100 баллов. Таким способом учитывается положение: ошибка штрафуется тем выше, чем легче задание и, напротив, тем меньше, чем задание труднее. На рис. 2 показаны две утолщенные перекрещивающиеся опорные прямые, одна из которых соответствует правильным ответам (Верно), другая – неверным (Неверно). Для рассматриваемого частного случая уравнения прямых таковы:

а) для правильных ответов у=х

б) для неверных ответов у= - х+2Х

Задания предъявляются контролируемому лицу в следующем порядке. На каждом нечетном шаге участке А, расположенным, например, справа от значения Х датчиком случайных чисел задания выбирается задание с некоторой случайной трудностью. На каждом четном шаге трудность задания выбирается автоматически симметрично (зеркально) относительно значения Х (рис. 3), т.е. в соответствии с уравнением х_k+1 = 2Х - х_k = 100-х_k , где х_k трудность нечетного задания (k=1,3,5,…). Использованные задания выбывают из числа предъявлемых в текущем сеансе испытаний.

После каждой пары выполненных заданий подсчитывается среднее значение накопленных баллов, которое в конце сеанса испытаний представляет собой отметку в шкале 100.

Рис. 2

При безошибочном выполнении испытуемым среднее число накопленных баллов равно Х = 50. Для испытуемых, совершающих ошибки, это число всегда меньше значения 50. Результат подсчитанных так многократных предъявлений пар пересчитывается в зачетную отметку в любой удобной шкале, например 100-балльной. Вопрос о переводе баллов в отметку определяется удобством и подробно не обсуждается.

Принятое в описании значение Х=50 определяет среднюю трудность набора заданий, симметрично расположенных на шкале трудностей относительно этого значения. Смещая это значение по шкале трудности, можно составлять наборы разных средних трудностей.

Требование симметрии может быть заменено более простым, а именно, число заданий на четной стороне должно быть не меньше числа заданий на нечетной при равномерном «заселении» сторон. Это всегда можно выполнить добавлением или удалением некоторых заданий. Желательно всегда иметь избыточное число заданий относительно предъявляемых, т.е. базу данных, большую чем число заданий. Если задания для некоторых участков трудности отсутствуют, то при выборе трудности датчиком случайных чисел на очередном нечетном шаге, выбирается задание с трудностью, ближайшей к значению Х.

Понятно, что всякие погрешности в назначении трудностей усредняются, и по мере увеличения числа выполненных заданий значимость в неравенстве трудностей ослабляется.

Описанный способ обладает известной гибкостью. Так, уменьшая наклон опорных прямых (по абсолютному значению), можно регулировать как бы «селективность» системы контроля (на рис. 2 ? тонкие опорные прямые). Меняя положение Х на шкале трудностей («центра трудности»), можно регулировать (устанавливать) среднюю трудность набора заданий. Меняя наклон прямых – «селективные» свойства – ослаблять зависимость начисляемых и сбрасываемых баллов от трудности заданий. Протяженность участка 2А соответствуют изменению диапазона заселения базы данных заданиями различной трудности. Его можно сделать как узким, так и достаточно протяженным.

Рис. 3

Удобно (хотя не обязательно) иметь общее число заданий в базе значительно превышающем число предъявляемых в сеансе испытаний. В этом случае не составляет труда автоматически задавать среднюю трудность Х испытания и передать требование реализации симметрии самой программе отбора заданий в каждом сеансе испытаний. Число вариантов конкретной реализации описанного алгоритма можно задавать заранее. Если число отобранных для предъявления заданий велико, то вместо описанного выше чередования четных и нечетных номеров, каждое очередное задание можно предъявлять простым случайным выбором. Таким образом, чем больше база данных, тем вся система получается более гибкой и удобной для программирования в виде оболочки, реализующей описанный способ.

Хотя ошибки в назначении трудностей упражнений вследствие самого принципа выбора заданий усредняются и не имеют решающего значения, существуют простые и не очень трудоемкие приемы снижения ошибок изначального назначения трудности каждого задания. Например, можно предложить нескольким преподавателям, ведущим занятия по одному и тому же курсу, расставить упражнения по трудности и затем сопоставлением выбрать наиболее подходящий вариант. Наконец, можно предложить это сделать группе студентов и соответствующим образом обработать результаты. Если данных много, то для корректировки набора применимы методы кластерного анализа.

Описанный метод достаточно гибок в том отношении, что здесь легко корректировать число начисляемых и сбрасываемых баллов на концах диапазона шкалы трудностей. Например, можно ввести корректировочные поправки, заменив близкие к границам отрезки перекрещивающихся прямых некоторыми плавными кривыми для изменения начисляемых и сбрасываемых баллов для очень трудных и очень легких заданий.

О требованиях к компьютерным программам контроля

Сделаю попытку сформулировать несколько общих требований к компьютерным программам контроля. Пр