Курсовая работа: Создание надежных тестов: личностные опросники, разработка заданий
Большинство из того, что будет сказано, очевидно и исходит из здравого смысла. Несмотря на это, изучение многих опубликованных тестов, а также тестов, используемых для внутреннего подбора кадров в крупных организациях, убедило автора в том, что все это должно быть сказано. Слишком часто разработчики тестов, ослепленные блестящей методикой анализа заданий, забывают о том определяющем факте, что тест не может быть лучше (но может быть хуже), чем его задания. Guilford (1959), личностные опросники которого были среди первых, разрабатывавшихся при помощи факторного анализа (правда, на шкалах, уже хорошо изученных за сорок лет исследований), делает несколько предположений, полезных для разработчиков заданий в тестах личности. По нашему опыту, эти правила показали себя как весьма эффективные.
(1) Устраняйте возможность проникновения испытуемых в суть того, что изучается при помощи данных заданий. Это делается не ради того, чтобы ввести их в заблуждение, а потому, что если испытуемые догадаются, что некоторое задание предназначено для измерения черты X, то ответы будут отражать их точку зрения по выраженности у себя этой черты, а не реальное положение дел. Представления же некоторых испытуемых о своей личности могут быть значительно искаженными. Как утверждает Guilford (1959), идеальным было бы оценивать испытуемого по чертам, о которых он не знает, задавая ему вопросы о том, что он знает хорошо.
(2) Формулируйте понятные, недвусмысленные вопросы (утверждения). Это важно для того, чтобы уменьшить погрешность, возникающую из-за неверного понимания вопросов. Высокая надежность зависит, в известной степени, от этого качества теста.
(3) Задания должны отражать конкретные, а не общие аспекты изучаемой области поведения. Так, задание вида: "Нравится ли вам спорт?" - является слишком общим: термин "спорт" - неопределенный, как и термин "нравится". Необходимо задать более конкретный вопрос: "Вы играете регулярно в какую-либо спортивную игру?" или "Вы регулярно следите за игрой вашей любимой спортивной команды?", "Следите ли вы за результатами скачек?" На эти вопросы, ответы на которые вряд ли будут фальсифицировать или относительно которых реальное поведение вряд ли изменится, испытуемые будут отвечать одинаково, когда бы вы их ни тестировали.
(4) В каждом задании следует задавать только один вопрос или делать только одно утверждение. Рассмотрим пример: "Думаю, следует заставить черных и представителей других рас эмигрировать". Если это задание предназначено для измерения расизма, то оно будет плохим. Есть расисты (такие, как южно-африканские), которые проводят резкие различия между черными и людьми других рас. Другие считают всех, кто не являются англо-саксами, не относящимися к людям. Следовательно, некоторые расисты могут положительно ответить на этот вопрос, тогда как другие - нет (только черных следует принуждать к эмиграции). Более злостные расисты могут быть готовы оставить черных и представителей других рас, но видеть их исключительно в качестве рабов. А, например, немцы, проживающие в Англии, опять-таки ответят "нет", исходя из своей интерпретации понятия "другие расы" (см. п. 2 выше). Это задание. явно бесполезно: у него слишком неопределенная формулировка и одновременно задаются два вопроса. Следовало бы дать утверждение более точно: "Думаю, следует заставить негров эмигрировать". Сейчас оно более понятно (выражение "черные и представители других рас" заменено на более точное), и в нем остался только один вопрос.
(5) Избегайте, насколько это возможно, слов, определяющих частоту действий. Они обычно настолько субъективны, что вносят большую неопределенность. Это положение прояснят примеры.
Пример А. "Часто ли вам снятся сны?" Здесь все зависит от значения слова "часто". Некоторые испытуемые могут испытывать такое чувство, что видеть сон раз в месяц - это часто, и ответят на вопрос утвердительно. Другие могут возразить, что один сон за ночь - это не часто, потому что исследования показали, что людям снятся три-четыре сна за ночь, и ответят "нет". Вопрос, таким образом, становится бессмысленным. Ответы указывают противоположное тому, что происходит на самом деле. Улучшенный вопрос будет звучать: "Снятся ли вам сны дважды в неделю или чаще?"
Пример Б. "Испытываете ли вы иногда беспричинное беспокойство?" Очевидно, что этот вопрос порождает ту же проблему, что и предыдущий. Однако, он еще хуже, поскольку "иногда" буквально означает "чаще, чем однажды". Следовательно, практически все испытуемые вынуждены, если они отвечают искренне, ответить на этот вопрос положительно. Однако, этот вопрос мог бы быть очень полезным, поскольку всем известно, что люди действительно различаются по частоте беспричинного беспокойства. Дело не в содержании, а в форме вопроса, которая не выдерживает критики. Как же можно более точно сформулировать вопрос, в котором частота столь существенна? В улучшенном виде это может выглядеть: " Испытывали ли вы беспокойство без особых причин в последние две (четыре) недели?"
(6) Насколько возможно, избегайте терминов, выражающих чувства. Вместо этого, попытайтесь представить задание в контексте поведения. Это правило было проиллюстрировано в пункте (3) выше, в котором задание было сформулировано более конкретно с целью повышения надежности при тестировании по истечении некоторого времени. Для этого слово "нравится" было заменено на "играете". Важным для нас здесь является то, что испытуемый без колебаний отвечает, играет он или нет, а со словом "нравится" возникает целая проблема. Сообразительные, высокообразованные, точно выражающие свои мысли испытуемые могут долго колебаться в выборе значения этого слова: "Да, им нравится это, но, вероятно, "наслаждаться" будет чуточку точнее; "находить удовольствие" -да, но...",-и т.д. Конечно, и для такого задания, как в вышестоящем пункте (5), в котором исследуется чувство беспокойства, эта проблема также существует. Однако, выражать это задание в поведенческой форме, например: " Бьется ли ваше сердце быстро и пересыхает ли во рту безо всяких причин?", кажется слишком искусственным. Особенность состоит в следующем. Если только задание может быть сформулировано так, чтобы неопределенные слова о чувствах могли быть заменены на описание поведения, это должно быть сделано. Когда это невозможно, конечно же, стоит попытаться составить задания, в которых описываются чувства. Их пригодность или непригодность будет выявлена на этапе анализа заданий.
(7) При помощи инструкций обеспечьте, чтобы испытуемые давали первые приходящие на ум ответы. Не позволяйте испытуемым долго размышлять над значением заданий. Эффективное задание личностного теста, которое действительно имеет отношение к поведению испытуемого, должно вызвать немедленную и точную реакцию. В противном случае вероятно, что задание не выявляет ту область поведения, которая имеет существенное отношение к измерению личностных качеств. Некоторые примеры прояснят этот момент.
Пример А. "Нравится ли вам наблюдать за щеглами?" Этот вопрос у испытуемых, за исключением орнитологов, не вызовет, вероятно, ничего, кроме смеха над его очевидной эксцентричностью. Большинство людей это просто не интересует.
Пример Б. "Любите ли вы хлеб с маслом?" Это явно не эксцентричный вопрос. Многие испытуемые, по крайней мере на Западе, где нет недостатка в основных продуктах питания, не будут испытывать по этому поводу сколько-нибудь сильных чувств, воспринимая это как данность.
Пример В (взят из пробных заданий для разработанного автором теста А130; Kline, 1971). "Позволяете ли вы вашей собаке лизать вам лицо?" Это задание было предназначено для выявления чистоплотности, и ключевым ответом для него является "нет". Очевидно, те люди, у которых нет собаки, ответят "нет", но можно возразить, что часто чистоплотность не является причиной отсутствия домашних животных. К моему удивлению, этот вопрос вызвал исключительно значимые ответы. Некоторые индивидуумы, дойдя до этого вопроса, отказывались вовсе отвечать на вопросы теста, говоря, что все это вообще отвратительно; один испытуемый даже говорил мне, что он никогда не был так оскорблен, и никогда бы не допустил подобной мерзости, и тому подобное в том же духе.
Нет никакого сомнения, что этот вопрос затрагивает нечто скрытое и подавляемое. Уместность вышеупомянутой инструкции к тесту теперь понятна. Именно первый ответ, по всей вероятности, является индикатором определенного личностного качества. Как только испытуемые начинают раздумывать над вопросами, включаются не только защитные процессы, но и сознательные искажения, такие как желание произвести впечатление, угодить экспериментатору,- все это отрицательно влияет на результаты теста.
И вот что еще более важно: многие задания не могут выдержать критической оценки в основном из-за вполне оправданного желания исследователей вложить слишком много информации в краткую форму задания. Вот почему особое значение при создании заданий тестов придается понятности и конкретности.
Можно было бы поразмышлять над приведенным выше примером В, и тогда не было бы никаких проблем. Некто либо позволяет, либо не позволяет собаке лизать его лицо. Нет никаких сложностей в решении того, что: (а) собака есть собака; (б) что она именно лижет; (в) и что именно она лижет - лицо или что-нибудь другое. Однако, большинство тестов личности не являются такими однозначными. Между прочим, стоит отметить, что этот вопрос оказался неудачным и его пришлось удалить.
Пример Г. "Бывают ли у вас яркие сны?" Этот пример хорошо иллюстрирует наше указание. Большинство испытуемых, вероятно, смогут дать немедленный ответ - либо "да", либо "нет". Однако, при внимательном рассмотрении этот вопрос оказывается неприемлемым. "В конце концов, насколько яркими могут быть сны? Мои сны кажутся мне яркими, но это мое субъективное мнение. Я действительно вижу яркие сны, но я также иногда вижу несколько однообразные и серые сны,"- подобные мысли затрудняют ответы.
Пример Д. "У вас много друзей?" Как и в первом примере, на этот вопрос, по размышлении, чрезвычайно трудно дать точный ответ. Проблема опять заключается в значении определенных слов, в данном случае "много" и "друзей". С этими трудностями столкнутся внимательные, вдумчивые и добросовестные испытуемые. Они могут рассуждать так: "Думаю, у меня много друзей, но что значит "много"? Сколько на самом деле в среднем друзей имеют люди? Без этой информации, а также без знания о разбросе вокруг среднего значения, невозможно ответить, много их у меня, или нет."
Хотя все эти мысли несомненно правильны, на практике этот вопрос у многих испытуемых вызывает автоматический ответ. Слово "друзья" тоже может породить проблемы. Испытуемые могут рассуждать: "Что такое друг, чем он отличается от знакомого, есть ли вообще какие-либо различия? Возьмем А, является ли он мне другом? Некоторым образом, нам нравится бывать вместе, но если бы он мне был нужен, он был бы практически бесполезен. Теперь Б...",-и так далее.
Из этих примеров понятно, что в инструкциях необходимо просить испытуемых выполнять задания настолько быстро, насколько это возможно. Конечно, нельзя избежать того, что таким инструкциям не всегда следуют, и в исследовании навязчивости, выполненном автором книги, один из вопросов, касающийся того, быстро ли испытуемый решается на что-либо и придерживается этого решения, ясно показал возможность многих различных ответов, хотя на него и отвечали утвердительно "да".
Это последнее наблюдение подводит нас к той критике, которая направлена против личностных опросников, что мы сейчас и обсудим.
Возражение: задания личностных опросников по существу бессмысленны
Это становится очевидным из приведенных выше примеров Г и Д. Рассчитывать на то, что испытуемые-интеллектуалы будут отвечать быстро, - это не только оскорбительно для испытуемых (так утверждает Alice Heim в связи с обсуждением некоторых тестов интересов; Heim and Watts, 1966), но более того, у таких испытуемых появляются серьезные сомнения в том, что такие задания могут вообще что-либо измерять.
На эти критические замечания получен эмпирический ответ: анализ заданий любого рода показывает, что наше множество заданий измеряет однородный фактор, в то время как исследования валидности демонстрируют, что же это за фактор. Тот факт, что задания имеют сомнительное значение, становится несущественным, если ответы на эти задания фактически являются эффективно дискриминативными или коррелируют с внешним критерием. Вышеприведенная критика, хотя и может показаться серьезной, не имеет, таким образом, большого значения.
Таковы правила формулирования заданий, описанные Guilford (1959), и они способствуют обеспечению того, что подготовленные вопросы будут обеспечивать решение тех задач, которые стоят перед ними. Автору этой книги при конструировании собственных заданий для личностных тестов всегда удавалось создать надежные и, как я полагаю, валидные методики, когда он следовал этим правилам. Удалось ли бы ему это без уже известной нам методологии, неизвестно.
Устранение влияния установок на ответ
Кроме того, что при разработке заданий следует всегда помнить о вышеперечисленных правилах, необходимо, конечно, ослабить, насколько это возможно, влияние наиболее существенных установок на ответ. Ниже описано, как это следует делать.
Установка на согласие (acquiescence)
Установки на ответы (response sets) были определены Кронбахом (Cronbach, 1946) как стилистическая последовательность, стимулируемая формой ответов на задания личностного опросника. Как указывалось ранее, одной из наиболее существенных является установка на согласие (см. Messick, 1962), то есть тенденция соглашаться с утверждением независимо от его содержания.
Сбалансированные шкалы
Messick (1962) утверждает, что сбалансированная шкала - это один из способов минимизации влияния установки на согласие. Сбалансированной называется такая шкала, для которой равное или примерно равное количество заданий имеют ключевые ответы "да" или "нет", "верно" или "неверно".
Однако, здесь заслуживают внимания два момента. Во-первых, сбалансированная шкала не устраняет полностью тенденцию : установка на согласие все же может проявиться, но, как указывает Knowies (1963), такая шкала не позволит спутать "соглашающегося" испытуемого с тем, у кого реально высокие показатели, а это важно. Конечно, можно возразить, что "соглашающийся" испытуемый с потенциально высокими показателями не будет выявлен при сбалансированной шкале. Если это происходит чаще, чем в нескольких отдельных случаях, то последующее исследование валидности теста будет обречено на неудачу.