Сравнительный: в качестве основания выступают результаты идентичного обследования одной или двух систем более высокого уровня.

Комплексный: используется несколько оснований для экспертизы.

Безосновной: предметом анализа являются результаты, полученные в одном исследовании. Такой способ не может быть корректным, но существует, порождая массу ошибок и недоразумений.

3. Организация мониторинга

3.1 Принципы

К мониторингу должны предъявляться определенные требования, которые можно сформулировать в виде принципов.

Первый - объективность информации; сам процесс должен опираться на объективные данные, получаемые в ходе информационного обмена между учебными элементами, непосредственно участвующими в производственном процессе и органами управления им. Запрашиваемые данные должны быть максимально формализованы и легко проверены. Информация, предоставляемая в обратном направлении, также должна быть конкретной и полезной.

Второй - сравнимость данных. Это требование обусловлено тем, что отслеживание результатов функционирования системы предполагает не только констатацию ее состояния, но и изучение изменений, которые в ней происходят. Возможность сравнения появляется только тогда, когда изучается один и тот же объект, на основе одинаковых эмпирических показателей.

Третий - адекватность; он предполагает изучение системы с учетом изменяющихся внешних условий (на соответствие им). Реализация этого принципа предполагает оценку влияния различных внешних факторов на осуществление производственного процесса. Такая оценка может быть осуществлена только на основе специально проведенных исследований.

Четвертый - прогностичность; имеется в виду получение данных, позволяющих прогнозировать будущее системы, возможные изменения в путях достижения поставленных целей. Этот принцип предполагает оценку возможных тенденций.

Можно добавить пятый принцип - целевого назначения, который предполагает получение необходимой и достаточной информации, исходя из обозначенной цели осуществляемой деятельности.

3.2 Факторы и условия

При проведении измерений в системах результаты часто оказываются смещенными, искаженными, неверно или неточно отражающими реальное состояние дел. Ниже приведен перечень факторов, знание которых необходимо при организации мониторинга и анализе его результатов.

Они могут быть условно разбиты на четыре группы (по Г.П. Щедровицкому):

· контролируемые при проведении измерения;

· контролируемые при определенных условиях;

· неконтролируемые, но учитываемые;

· неконтролируемые и неучитываемые.

1. Качество инструментария - контролируемый при проведении эксперимента фактор. Общеметодологическими требованиями к инструменту остаются валидность, надежность, удобство использования, соответствие целям обследования, корректность статистических процедур, стандартизированность, апробированность и др.

2. Профессионализм и подготовленность специалистов. Это фактор, контролируемый при проведении обследования. Процесс измерения разбивается, как правило, на несколько этапов: создание инструментария, проведение измерения, интерпретация результатов, подготовка рекомендаций, которые могут быть реализованы разными специалистами.

3. Изменение экспертов в процессе измерения. Данный фактор относится к контролируемым при определенных условиях. Причина этих изменений - научение, появление опыта, согласование позиций, когда мнение одного более авторитетного эксперта начинает смещать оценки других.

4. Статистическая регрессия: вариант искажения результатов в процессе проведения обследования подробно описан Кэмпбеллом.

5. Цикличность. Социальные процессы носят ярко выраженный цикличный характер, поэтому, занимаясь социальными измерениями, необходимо учитывать и эти факторы.

6. Отбор испытуемых. Варианты отбора и формирование экспериментальных групп - несомненно, один из центральных факторов, контроль за которым позволяет не только выровнять оценки, но и решить проблему распространения результатов обследования на более широкую популяцию.

7. Значимость индикатора и его смещение. В том случае, если существует индикатор, значимый для испытуемых (и он им известен), указанный индикатор испытывает неосознанное или осознаваемое воздействие со стороны испытуемых и начинает смещаться.

8. Нарушение в информационных потоках. Проводя измерения в социальных системах, мы априори предполагаем, что объект измерения обладает какой то значимой информацией, специальное знакомство с которой при измерении не предполагается. Но может быть так, что часть этой информации отсутствует или владение ею недостаточно.

9. Различные мотивации участников в естественных условиях. При изучении социальных систем достаточно привлекательной выглядит возможность получения информации в естественных условиях. Однако часто оказывается, что одни и те же действия, реализуемые в ситуациях управления, осуществляются с неодинаковыми целями.

10. Эффект повторного измерения. Если какое-либо задание уже выполнялось, это скажется при его повторении. Вопрос том, при каких условиях мы можем считать такие влияния достаточно малыми с точки зрения их воздействия на конечный результат измерения.

11. Изменения группы под влиянием отношений окружающих, вызванных экспериментальным воздействием. Попадая в те или иные экспериментальные условия, люди начинают оценивать свое положение относительно тех, кто в такие условия не попал. Если эти оценки активно поддерживаются окружением и референтными окружающими, то у представителей этой группы начинает вырабатываться иная система оценивания.

12. Групповая фальсификация результатов. Методологии классического эксперимента знает ситуацию, когда респонденты договариваются, какие оценки будут давать. Эта достаточно редкая ситуация возникает, когда нет непосредственного личного взаимодействия между "объектом" измерения и тем, кто его проводит.

13. Изменение группы в процессе проведения эксперимента. Эти изменения могут носить как случайный, так и систематический характер. Они могут быть естественными и спровоцированными.

14. Естественное развитие. В процессе эксперимента происходит естественное развитие как всей группы, так и ее отдельных членов. Причем чем меньше дети, тем динамика их развития больше.