Учебное пособие: История развития системы тестирования в России и за рубежом
Начиная с первого десятилетия XX века обыденное представление о тесте и его научное определение стали заметно отличаться друг от друга. Хотя всякий тест включает в себя задания как элементы испытаний, он не сводится только к этому, ибо сейчас это и метод научного исследования, включающий в себя ряд требований измерения. На каждом этапе развития науки менялись требования к тестам и сами тесты. Игнорирование этого диалектического момента нередко приводило к упрощенчеству в оценках тестов. Упрощенчество проявлялось, главным образом, во взглядах на тест как на средство, совпадающее с другими распространенными формами оценки знаний – такими, как, например, зачет, экзамен. Но это неверно. Тест является средством педагогического измерения, что выгодно отличает его от всех остальных форм педагогического контроля.
Первая попытка научного измерения интеллектуальных способностей детей была сделана в начале XX века. Это произошло во Франции. Авторы созданного для этой цели теста А. Бине и Т. Симон провели эмпирическую проверку заданий, претендующих на включение в тест. Для оценки работоспособности заданий теста авторы использовали два основных критерия: 1) эмпирическую меру трудности каждого задания, определявшуюся на группах детей разного возраста и 2) информацию о степени совпадения результатов теста с мнением преподавателей. Для достижения сопоставимости данных, полученных ими с данными других исследователей и минимизации ошибок измерения, А. Бине и Т. Симон приложили к тесту стандартную инструкцию по проведению тестирования.
Первая мировая война активизировала разработку тестов для определения профессиональной пригодности и для ускоренной подготовки лиц, обладающих нужными для военного дела знаниями и навыками, интеллектуальными и физическими качествами. Интенсивное техническое перевооружение промышленности ведущих капиталистических государств в начале XX века актуализировало проблему "человек - техника". Все острее стала осознаваться мысль о том, что не каждый желающий сможет управлять сложными техническими устройствами: для этого необходимы знания, способности и соответствующие навыки, а значит, нужны тесты, профессиональный отбор и профессиональная подготовка. По данным английской статистики, в первую мировую войну только 2% потерь авиации были связаны непосредственно с боевыми операциями; 8% было потеряно из-за дефектов материальной части, а больше всего - 90% потерь было вызвано профессиональной непригодностью тех, кто пилотировал самолеты.
Война существенно обострила интерес к вопросам соотнесения способностей человека с требованиями профессий. "Всем стало ясно, - писал в те годы Г. Мюнстерберг, - что никакая расточительность ценных благ не носит столь пагубного характера, как расточительность ... живых сил народа, распределяющихся в полной зависимости от случая. ... Совершенно не обращается внимание на соответствие между трудом и работником". Тем самым была подготовлена почва для развертывания научно-исследовательских работ по тестовым методам оценки личности. В США был создан первый вариант так называемого группового теста, который позволял быстро оценить пригодность призывников к воинской службе в различных родах войск. Созданный тест рассматривался как тайное оружие, поэтому все испытания, масштаб исследований и результаты не разглашались. На основании этих исследований производилось отчисление "негодных лиц", назначение на "черные работы" неспособных к строю, комплектование унтер-офицерских и офицерских школ, выравнивание частей по уровню интеллектуальности, набор в специальные части и т.п.
Первые тесты для объективного контроля знаний, умений и навыков появились в начале XX века. Они быстро завоевали популярность среди преподавателей вузов и школ в Англии и США, а позже в России и СССР. Примерно с этого времени их стали в США называть педагогическими. Именно эти тесты вызывали настороженное к себе отношение у сторонников традиционной, "чистой", без тестов, педагогической науки и практики. Такая же настороженность проявлялась и по отношению к педологии, широко опиравшейся на тесты. Появление в это время нового прикладного направления, педологии, не было исторической случайностью. Это было неизбежно, как появление других прикладных наук. Хотя педология претендовала на статус фундаментальной науки о комплексном развитии ребенка она, если судить по ее методам и результатам, была все-таки прикладной педагогикой, необходимо дополнявшей тогдашнюю отечественную педагогику в ее самом слабом месте - в связи науки с практикой образования и обучения. Однако вместо сотрудничества педагогики и педологии началось политическое избиение последней, окончившееся не научной, а политической же "победой" сторонников "чистой" педагогики. На волне революционных преобразований "победили" сторонники изгнания из школы тестов, любого контроля знаний и, вместе с этим, педологии. Педология стала первой в списке наук, которые позже назовут репрессированными.
В те годы были, однако, и другие выступления - в пользу тестов. Так, известный психолог М.Я. Басов говорил: "Я думаю все же, что эта долгая, подчас острая критика тестовой методики ... в конце концов, приведет не к ниспровержению, не к упразднению этой методики, а, напротив, к ее упрочнению и к ее утверждению в определенных границах, в которых она, очевидно, имеет полное право на применение и существование". Поскольку в то время тесты получили признание и развитие только в рамках прикладных направлений - педологии и психотехники, размежевание этих направлений с педагогикой и психологией проходило, в первую очередь, по отношению к тестам. Помимо этого, обе стороны вели затяжные дискуссии с взаимными обвинениями. Педагогика и психология обвинялись в схоластике, узком академизме, в неспособности воспринять новое и в отрыве от практики. Прикладники, в свою очередь, осуждались за узкий практицизм, противоречащий духу науки, за отрыв от педагогики, психологии; они обвинялись также в голом эмпиризме, подражании западным образцам и в чрезмерном увлечении тестами.
Разрыв между фундаментальным и прикладным направлениями был до недавнего времени характерен для многих других наук, но не везде он протекал столь болезненно, как в педагогике. Для представителей "чистой науки" прикладность не имела заметной ценности. В 30-х годах ученые Кембриджа, как вспоминает Ч. Сноу, больше всего гордились тем, что их научная деятельность ни при каких мыслимых обстоятельствах не может иметь практического смысла. Методы и результаты педологии лежали в сфере прикладной деятельности, в то время как усилия традиционной педагогики были направлены на создание общей теории. Эти же годы характеризуются широким использованием тестов в других странах. Во Франции они стали применяться для дефектологических целей и для профориентации, в США тесты использовались при приеме на работу, в вузы, для оценки знаний школьников и студентов, для проведения социально - психологических исследований. Была сделана первая попытка объективно сравнить знания студентов различных колледжей штата Пенсильвания. Но и критика не успокаивалась. Она начинала приобретать все более широкий размах и выходить за рамки чисто научных дискуссий.
В США против использования тестов выступали представители основных групп населения - взрослые и дети, белые и негры, рабочие и управленческий персонал, а также представители национальных меньшинств. Исследования по социальным последствиям тестирования выяснили, что 37% опрошенных возражали против использования тестов при поступлении на работу, 50% - при продвижении по службе, 25% - против использования тестов в школе. Случаи нарушения этики в использовании тестов оказались столь злободневными, что ими вынужден был заняться конгресс, устроивший специальные слушания по этому делу. В результате было принято решение, осуждающее неэтичное использование тестов. В августе 1966 г. в сенате США обсуждалось предложение о полном запрещении тестов, но это предложение не было поддержано большинством.
В зарубежной литературе выделяется несколько источников критики тестов. Первый источник Брим усматривает в личностном портрете критиков. В числе последних чаще других оказываются те, кто не склонен к интроспекции, авторитарен в межличностных отношениях, нетерпим к мнению других и возражает против всяких социальных перемен. Как правило, в США эти лица примыкают к правым политическим группам, требующим запрещения тестов. Второй источник критики видит в системе социальных ценностей, имеющей свои корни в отношении к вопросам равенства людей. Если в обществе одобряется принцип открытого соревнования его членов, то в каждом поколении на передовые позиции выдвигаются наиболее талантливые люди. В таком обществе каждый имеет возможность внести свой вклад в соответствии со своими способностями. Последние должны быть оценены, и потому ориентация на этот принцип создает благоприятное отношение к тестам. Третий источник, по мнению Кеттела, является следствием эмоционального и сентиментального отношения людей эстетического и нарцисстического типа ко всякой попытке представить "уникальную, художественную личность", как он пишет, в виде формул и т.п.
Тесты применялись в двух основных сферах: в образовании и в сфере профотбора-профориентации. Затронутые тестами столь важные сферы жизни и прямое влияние результатов тестового контроля на судьбы миллионов людей породили широкую гамму мнений в пользу и против тестов. Большой энтузиазм тех, кто их применял, и не меньший пессимизм тех, кто видел несовершенство этого метода или пострадал в результате его неправильного использования, породили во многих странах, в том числе и в СССР, письма в правительственные органы и в газеты с требованием запрета тестов.
Застой в разработке тестов и их применении продолжался около сорока лет - с середины 30-х до конца 70-х годов, после чего вновь стали появляться публикации по этой проблеме, направленные как в пользу тестов, так и против них. Типичные аргументы оппонентов тестового метода сводились, в обобщенном виде, к следующим утверждениям:
- тесты используются в капиталистических странах, где с их помощью решаются вопросы расовой и классовой дифференциации;
- применение тестов унижает достоинство личности, особенно в случаях, когда получаемые баллы оказываются ниже среднего уровня;
- никакие методы измерения не могут заменить преподавателя и его личный опыт;
- в педагогике нет и не может быть точной единицы измерения, и потому не следует терять время, силы и средства на разработку неточных методов.
В этих утверждениях много спорного, и даже ошибочного. Что касается применения тестов для целей расовой и классовой дифференциации, то вряд ли здесь надо винить тесты. Как всякое средство, они могут быть использованы в пользу или во вред, в зависимости от идеологии, политики, компетенции, целевых установок и т.п. О возможном унижении достоинства личности, наклеивании ярлыков и т.п. можно сказать, что для предотвращения неприятных последствий такого рода, если это вообще возможно при культурной работе, разработаны специальные правила обращения с тестами и испытуемыми. В этих правилах все возникающие вопросы этического характера предусмотрено решать в пользу личности. Соблюдение этических норм является непременной частью профессиональной подготовки тех, кто работает с тестами. Тестовые методы не призваны заменять преподавателя и его личный опыт, а наоборот, призваны помогать ему, освободив его от рутинной работы и дать, тем самым, ему возможность сосредоточиться на повышении качества преподавания. Во-вторых, хотя точность педагогических измерений и не может сравниться с точностью физических измерений, преимущества первых, тем не менее, достаточно очевидны, они описаны повсеместно.
В то время как в нашей стране обсуждался вопрос, быть тестам или не быть, в США ставились другие вопросы: как повысить качество тестов, как сделать результаты тестирования независимыми от группы испытуемых и от того или иного набора заданий? К началу второй мировой войны там уже был накоплен большой опыт разработки тестов. Война дала сильный толчок авиастроению. Соответственно, понадобились сотни тысяч пилотов, штурманов, механиков, стрелков-радистов, специалистов по наладке навигационного оборудования. Каждая из перечисленных профессий требовала наличия определенных способностей - интеллектуальных, физических, психомоторных, и все эти способности надо было быстро и эффективно оценить. Для участия в этой работе были мобилизованы ученые, занимавшиеся вопросами измерения в психологии и в социологии. По начальному образованию это были, в основном, математики, занимавшиеся вопросами соответствующих психологических или социологических измерений. С началом войны почти все кадры так называемых психометриков были направлены в специально созданную воинскую часть на авиабазе Рандольфильд, для проведения там, на основе многостороннего тестирования, профессионального отбора и классификации готовящегося по всей стране персонала из числа летчиков, штурманов, мотористов и т. д. Поскольку война диктовала короткие сроки проведения исследования, а тестов не хватало, вся работа по профотбору, созданию и по проверке качества тестов велась параллельно. Например, из 550 тысяч человек, подвергнутых тестовому контролю в одном, 1942 году, примерно только половина была допущена к обучению отмеченным профессиям.
Между тем общественность продолжала высказывать сомнения в качестве используемых тестов. Поэтому было решено провести эксперимент. В рядах самих экспериментаторов не было единодушия, поскольку предстояло проверить эффективность их собственной работы. Среди аргументов, выдвигавшихся против эксперимента, были: нужен ли он в трудное военное время; а вдруг вскроются недостатки тестов, кажущихся сейчас вполне работоспособными, а главное, уже утвержденных руководством...".
Экспериментальная группа состояла из 1143 человек, отобранных в случайном порядке из числа лиц, прошедших тестирование по полной программе и зачисленных на курсы подготовки военных летчиков, независимо от показанных ими результатов в тестировании. Контрольную группу составили свыше 230000 человек, допущенных к обучению в 1943 году в зависимости от полученных ими тестовых баллов. Результаты сравнения оказались следующими: в экспериментальной группе только 23 процента смогли закончить курс обучения, в то время как среди отобранных с помощью тестов процент успешно окончивших летные школы оказался более 60. Различия, как говорят статистики, оказались весьма достоверными. Поскольку обучение военного летчика стоит дороже подготовки профессора, а отчисление неудачников проводилось, как правило, не ранее того, как курсанты проходили примерно третью часть срока подготовки, нетрудно было представить себе масштабы экономии средств за счет использования тестов. Один из активных участников процесса отбора военных специалистов подсчитал, что на каждый доллар, затраченный на эту программу, бюджет сэкономил тысячу долларов.
Другой проект использования тестов в США был направлен на изучение и совершенствование методов адаптации призывников к военной службе. В частности, он преследовал цель поднять боеспособность американских солдат за счет снижения у них чувства страха. В соответствии с учением З. Фрейда, это чувство относилось к скрытым, или, иначе, латентным свойствам личности. Отсюда и название общей методологии исследования таких свойств - латентно-структурный анализ (от англ. Latent Structure Analyses, или сокращенно, LSA). Эта методология нацелена на выявление латентных качеств и факторов поведения посредством математико-статистических моделей измерения . Было проведено широкомасштабное социально-психологическое исследование "American Soldier", призванное повысить боеспособность солдат за счет выявления и устранения тех скрытых факторов, которые влияют на поведение солдат в боевой обстановке.
Понятие "латентная", или, как иногда пишут в нашей литературе, "скрытая" переменная невольно вызывает ассоциацию с метафизическим учением о неких скрытых от непосредственного восприятия "сверхфизических" сущностях каждой вещи или явления, взятых вне их связей и отношений в окружающем их мире. Основываясь на этой ложной ассоциации, можно было бы, как делалось раньше, вообще не рассматривать идею латентно-структурного анализа, считая ее очередным проявлением антидиалектизма в науке. Однако такой ход мышления привел бы к ошибке, ибо научное мышление опирается не столько на ассоциации, сколько на рациональность. А это, прежде всего, есть сфера принципов, допущений и процедур, обеспечивающих объективность, логическую принудительность и результативность в процессе познания.
Смысл введения латентной переменной требует краткого разъяснения. Она представляет собой простейшую форму реализации идеи существования скрытого фактора, влияющего на результаты испытуемых. Результаты теста всегда содержат в себе ошибки измерения, затрудняющие оценку истинного значения тестового балла на латентной переменной. Поскольку латентная переменная появляется в результате концептуализации, она всегда остается гипотетической переменной, на которой с большей или меньшей точностью оцениваются истинные результаты испытуемых. Латентная переменная представляет собой концептуальную модель интересующего исследователя качества испытуемых.
Попытки судить о невидимых вещах по видимым проявлениям имели место еще в глубокой древности. Так, например, Платон утверждал, что истинная астрономия занимается не изучением движения наблюдаемых небесных тел, а изучением законов движения звезд по математическому небу; несовершенным изображением последнего является видимое небо. В эпоху Возрождения скрытые качества рассматривались как некие силы, присущие всем вещам, причем каждая вещь представлялась как нечто двойственное: чувственно воспринимаемый предмет и внутреннее "скрытое качество", которое вызывало изменение наблюдаемых свойств. Эта идея вновь пробила себе дорогу в науке середины ХХ века.
Развитие тестирования в России
Можно сказать, что Россия конца XIX века позаимствовала в основном немецкий вариант проверки знаний. Но в те годы здесь о тестах никто еще ничего не написал. Похоже, что в стране их не было.
В России конца XIX - начала XX века вопрос разработки тестов и их применения для оценки знаний не ставился и не обсуждался. Как свидетельствуют первые отчеты Санкт-Петербургского педагогического общества, еще в 1872-1875гг. шли дискуссии лишь о полезности и вредности балльных оценок.
Суть и дух дискуссий передает отрывок из статьи О.Эрна: "...ни по одному из поставленных вопросов члены педагогического общества не смогли прийти к соглашению. Правда, под конец прений защитники баллов готовы были почти уступить своим оппонентам. Они соглашались признать, что оценка успехов учеников баллами во многих отношениях неудобна и вносит в школу много нежелательных элементов; они решались даже отказаться от системы отметок, но только под одним условием: они требовали, чтобы им точно и определенно было указано, чем предполагается заменить баллы". Позиция сторонников изгнания балльной оценки из российской школы отчетливо была выражена словами члена педагогического общества Миропольского: ... "смерть баллам грозит неминуемая; не нынче, завтра, дни их сочтены". Участник тех дискуссий К. Сент-Илер поставил ряд вопросов, касающихся применения отметок (баллов) в школе. Основным из вопросов был: следует или не следует успехи учеников выражать цифрами? Определенного ответа на него не было получено.
Соответственно, не велась научная работа в этой области. Но уделялось внимание улучшению качества контроля знаний. В конце XIX века в печати обсуждался вопрос о введении экзаменов. В циркуляре по Санкт-Петербургскому учебному округу “О производстве испытаний зрелости без послаблений”, сообщалось, что во многих гимназиях испытания зрелости производятся крайне снисходительно, с весьма большими послаблениями. А это обстоятельство, в свою очередь, весьма неблагоприятно отзывается на всем ходе учебного дела, приучая воспитанников поверхностно относится к усвоению преподаваемых им наук в надежде на ожидаемые послабления на испытаниях. В этом же циркуляре имеются поразительно точные слова о требованиях к содержанию контрольных материалов: “не обременяя требованиями мелких и второстепенных подробностей… необходимо удостовериться в знании существенно-важного в каждом предмете”.
В мае 1918 года было принято Постановление Народного Комиссариата по просвещению РСФСР, в котором были отменены все экзамены – вступительные, переходные и выпускные. Вместе с этим была отменена и балльная система оценки, как там написано, “познаний и поведения учащихся во всех, без исключения, случаях школьной жизни. Перевод из класса в класс, и выдача свидетельств должны производиться на основании успехов учащихся, по отзывам педагогического совета об исполнении учебной работы. 2 августа 1918 года был принят декрет Совета Народных Комиссаров РСФСР “О правилах приема в высшие учебные заведения”, в котором утверждалось буквально следующее: “Каждое лицо может вступить в число слушателей любого высшего учебного заведения без предоставления диплома, аттестата или свидетельства об окончании средней или какой-либо школы”. Позже было подведено и обоснование под решение об отмене экзаменов: “путем экзамена нельзя составить правильное представление о знаниях и об умственном развитии учащихся” и что “экзамен оказывает разрушительное действие на учащихся и студентов”, “имеет столько смертных грехов, что вряд ли найдутся его защитники”.
Отход от такого рода нигилизма наступило вначале в высшей школе, что случилось в 1924 году. Постановлением второй сессии ВЦИК было предложено “разработать вопрос о формах проверки пригодности кандидатов к поступлению в вуз, а также выработать новую систему проверки знаний и учета успеваемости студентов”. В 1932 году ЦК ВКП(б) в своем постановлении посчитал необходимым “установление в конце года про