Реферат: Методика составления тестовых заданий по курсу Механика

Второй источник погрешностей – в формулировании и отборе заданий. Если мы примем небезосновательное предположение о детерминации (в ста­тистическом смысле) или, иначе, о зависимости конкретных результатов из­мерения от истинных, присущих данным испытуемым в идеальных усло­виях, то коэффициент надежности удобно интерпретировать как коэффициент детерминации.[1]

1.3.2. Валидность тестов.

в отличие от надежности, определение которой сводится к выбору одной из множества расчетных схем, обоснование валидности теста пред­ставляет собой задачу методологического характера. Как и обоснование лю­бой деятельности, процесс валидизации начинается с уточнения цели и кон­кретных задач педагогического контроля. Если ставится цель проверить зна­ния студентов по какой-либо дисциплине и при этом не важно, каким мето­дом это надо будет сделать, то легко понять, что эта цель может быть дос­тигнута посредством использования зачетов, экзаменов, курсовых и диплом­ных работ. Эти и другие методы неравноценны с точки зрения объективности и качества оценки, и потому вопрос о валидности легко переводится в праг­матическую плоскость оценки сравнительной пригодности того или иного метода для достижения поставленной цели.

Тест может быть валидным, если помимо прочих требований средние результаты соответствуют большей части студентов, а сами данные рас­пределяются по нормальному закону. Если это условие не выполняется, то тест считается невалидным с точки зрения соответствия стандартам распреде­ления. Именно отсюда возникает стремление разработчиков тестов добиваться нормальности распределения за счет варьирования числа легких и трудных заданий.

Если в тесте нет достаточного числа легких и трудных заданий, то воз­никает вопрос о его сбалансированности по трудности, то есть обычно в тесте должно быть больше заданий средней трудности и несколько меньше от­кровенно легких или трудных заданий. В процессе создания теста мера труд­ности регулярно проверяется на случайной выборке из того контингента, для которого тест предназначается. В сбалансированном тесте легко добиваются нормальности распределения. Дальнейшее совершенствование идет по пути замены ряда заданий, ответы на которые нарушают нормальность распреде­ления. Трудность заданий влияет на надежность и валидность. Если тест очень трудный, то студенты чаще вынуждены догадываться – какой ответ правиль­ный. Но чем чаще они прибегают к догадке, тем больше распределение ре­зультатов теста приближается к случайному распределению. Поэтому при­годность теста для оценки всей массы студентов будет тем ниже, чем труднее тест. Такое же влияние на надежность, – но по другой причине – оказывает легкий тест, в котором студенты, наоборот, догадываются редко, их ответы устойчивы, но почти нет различий между испытуемыми.

Валидность теста существенно зависит от его разли­чающей способности. Если десять человек в группе получают «отлично», та­кая оценка не позволяет различать, кто из этих десяти лучше, а кто несколько хуже знает предмет. Различающая способность тем выше, чем меньше одина­ковых оценок студенты по нему получают. Следовательно, тем больше ва­риация результатов и более чувствительна шкала к индивидуальным разли­чиям. Поэтому повышению различающей способности теста (РСТ) в стадии его создания уделяется большое внимание. При этом применяются несколько методов:

1.Регулирование по времени тестирования; чем больше стандартное от­клонение, тем больше различающая способность теста.

2. Оптимальный подбор заданий. В принципе РСТ, а вместе с ней и на­дежность теста, возрастают с увеличением доли заданий средней трудности в тесте. Однако в тесте обязательно должна быть некоторая часть легких и трудных вопросов, точное количество которых зависит от конкретных об­стоятельств.

3. Точность измерений. Если, например, время реакции измерять у ис­пытуемых с точностью до одной десятой, сотой, тысячной и так далее се­кунды, то получим различную различающую способность теста.

Валидность теста связана, помимо прочего, с понятиями «гомогенный и гетерогенный тест». Если тест создан с целью проверки знаний по одной учебной дисциплине и все вопросы теста связаны именно с ней, то такой тест считается гомогенным, а значит и валидным для этой частной цели. Поэтому в более чистом виде гомогенный тест представляет собой тест для изучения знаний какому-то частному разделу программы.

Для комплексной оценки знаний студентов может быть составлен тест, состоящий из вопросов по нескольким дисциплинам. Это – пример гетеро­генного теста, который состоит из группы гомогенных тестов. Соответст­венно такой тест является валидным именно для комплексной оценки.

Валидность теста зависит и от так называемой длины теста. Под длиной теста понимается количество заданий, входящих в тест. Существуют тесты очень короткие, состоящие из 7 – 15 заданий, и очень длинные, состоящие из более чем пятисот заданий.

Если тест очень длинный, то ухудшается мотивация и внимание у ис­пытуемых, а это снижает надежность и валидность. Практика показывает, что если тестирование занимает более полутора часов, то при этом возникают ор­ганизационные проблемы, испытуемые с неохотой соглашаются отвечать на вопросы теста. С другой стороны, с точки зрения теории, чем длиннее тест, тем он надежнее. Возникающее противоречие между теорией и практикой решается компромиссом в ту или иную сторону, в зависимости от конкрет­ного случая.

Валидность теста зависит еще и от расположения заданий в тесте. Су­ществует различная практика расположения заданий:

1. По степени возрастания трудности. Такое расположение характерно в основном для гомогенных тестов. Для гетерогенных тестов сохранение это­го принципа выражается в так называемой «спиральной» форме расположения заданий.

2. В случайном порядке. Этот способ расположения заданий широко применяется в психологических тестах и в процессе компьютерного тестиро­вания.

3. В специальном порядке, в соответствии с какой-либо теорией, сооб­ражениями переноса навыков, концентрации внимания и других.

4. В порядке, сочетающем специальный и случайный подбор. Обычно это делается в гетерогенных тестах.

Существуют несколько подходов к валидизации тестов, различающихся в зависимости от используемых критериев. В педагогической практике наи­большее распространение в последние годы получили такие тесты, валид­ность которых не требуется доказывать эмпирически: в таких тестах крите­рием их пригодности является само содержание теста, одобренное опытными преподавателями-экспертами. При этом у преподавателя должна быть уве­ренность в том, что:

· задания теста находятся в соответствии с программой;

· задания теста охватывают не один какой-либо раздел, а всю про­грамму курса;

· высока вероятность того, что студент, успешно ответивший на зада­ния теста, знает предмет в соответствии с полученной оценкой.

Перечисленные три пункта объединяются общей идеей – содержит ли тест задания, пригодные для оценки знаний по конкретной дисциплине? Если в результате статистической проверки выявляется, что ответы на вопросы теста вполне позволяют обоснованно судить о знаниях студентов, то счита­ется, что тест содержит валидные вопросы; он валиден по содержанию. Тре­бо­вание валидности по содержанию предъявляется к каждому вопросу теста, мерой валидности является коэффициент корреляции ответов по заданию с критерием. При создании теста в качестве критерия обычно берутся оценки, выставляемые студентам группой преподавателей-экспертов без тестов. Ре­зультаты студентов по вопросам теста и по оценкам экспертов коррелиру­ются. Высокая согласованность оценок по тесту и у экспертов указывает и на высокую валидность.

Надо подчеркнуть, что нет показателей раз и навсегда установленных надеж­ности и валидности теста. В каждом отдельном исследовании рекомен­дуется проверять качество теста и лишь на этой основе делать выводы о дос­товерно­сти данных.

??????? 1. ?????????? ? ?????????? ? ?????????? ??????.[1] ????/??? ???????????? ?????????? ?????????? ?????????? 0.90 – 0.99 0.85 – 0.89 0.80 – 0.84 0.75 – 0.79 0.70 – 0.74 0.60 – 0.69 0.50 – 0.59 0.40 – 0.49 0.30 – 0.39 0.20 – 0.29 0.100 – 0.19 0.00 – 0.09 ????/??? ?/??? ??????? ??????? ?????????????????? ?????????????????????? ???????????? ???????????????????? - - - - - ????/??? ????/??? ????/??? ????/??? ??????? ??????? ??????? ?????????????????? ?????????????????????? - - ????????????????????

? ??????????? ??????????, ??? ? ??????????, ??????????? ????????????? ??????????. ?????????? ? ?????????? ????? ??????? ? ??????? ???????? 1.1.[1]

2. РАЗРАБОТКА ПАКЕТА ТЕСТОВЫХ ЗАДАНИЙ ДЛЯ

ОПЕРАТИВНОГО КОНТРОЛЯ УРОВНЯ ЗНАНИЙ

СТУДЕНТОВ ПО КУРСУ «МЕХАНИКА»

Одним из эффективных инструментов при проведении педагогического эксперимента является компьютерная технология оценки качества знаний, умений и навыков. Систематическое использование компьютерной техноло­гии тестирования в учебном процессе вуза дает возможность проводить оценку качество подготовки и дифференциацию знаний студентов на всех этапах обучения в динамике его изменения. При проведении тестирования решаются следующие основные задачи:

· формирование структуры испытательного (тестового) модуля в диалого­вом режиме;

· подготовка необходимого количества различных вариантов испытатель­ного педагогического модуля заданной структуры как с одинаковыми, так и различными характеристиками (сложность, трудоемкость, число опера­ций и тому подобное);