Курсовая работа: Модель диалога человека-преподавателя контролирует деятельность в AutoTutor

Хороший разборчивый студент. Первые 5 реплик этого виртуального студента содержали одно утверждение, которое оценивалось как хорошее. Тем не менее, в отличие от двух других хороших виртуальных студентов, все Утверждения в первых 5 репликах по данной теме были представлены одним человеком-студентом.

Студент Монте-Карло. Первые 5 реплик этого виртуального студента были генерированы в стиле Монте-Карло для имитирования изменчивости качества студенческих Утверждений, которая обычно возникает во время занятия с обычными преподавателями. Т.е. были представлены все виды Утверждений (например, хорошее и среднее).

Для того, чтобы AutoTutor был эффективным преподавателем, он должен быть способен: (1) различать уровень способностей обучаемого и качество утверждения и (2) отвечать одним или комбинацией подходящих шагов диалога. Graesseratal. (в печати) сообщали, что параметры ЛСА чувствительны к уровню способностей обучаемого и качеству Утверждения. Целью трех циклов оценок было увидеть, сможет ли AutoTutor генерировать педагогически эффективные шаги диалога, учитывающие эти различия.

Эксперты и измерения качества

Для оценки качества диалогов AutoTutor по двум целостным параметрам: педагогическая эффективность (ПЭ) и разговорное соответствие (РС) было выбрано четыре эксперта, по двое на каждый параметр. Эксперты, оценивавшие ПЭ, были хорошо осведомлены о педагогических стратегиях, которые часто употреблялись обычными преподавателями. Для каждого шага диалога эксперты, оценивавшие ПЭ, рассматривали: (1) был ли диалог педагогически эффективным и (2) был ли диалог приемлемым для обычных преподавателей. Эксперты, оценивавшие РС, хорошо разбирались в разговорной речи. Они рассматривали различные факторы уместности разговора в их целостных оценках каждого диалога AutoTutor. Эти факторы включали нормы вежливости и Gricean maxims качества, количества, уместности и стиля (Brown & Levinson, 1987; Grice,1975,1978). Оба фактора оценивались по 6-бальной системе, где 1 балл соответствовал очень низкой, а 6-очень высокой оценке. Для каждой пары экспертов была сосчитана достоверность измерений, которая оказалась высокой в обоих случаях (Gronbach’альфа = 0,94 для ПЭ и 0,89 для РС)

Три цикла оценок

Цикл 1

Для пяти виртуальных студентов, описанных выше, хорошего многословного, хорошего краткого, среднего, молчаливого и ошибающегося было создано пять копий преподавателя. Студенты хороший разборчивый и Монте-Карло были созданы во втором цикле оценок. Учитывая, что это было первое взаимодействие AutoTutor с обучаемыми, мы не рассматривали Цикл 1 как полностью самостоятельную оценку преподавательского и разговорного мастерства AutoTutor. Каждая копия была довольно длинной (почти 25 стр.) и мы не были уверены, что наши знания обычных преподавателей были точно отражены в нечетких продукционных правилах. Таким образом, эксперты, оценивавшие ПЭ и РС, не были обязаны оценивать каждый диалог AutoTutor.

Две пары экспертов оценивали ПЭ и РС для третьей фразы AutoTutor в каждой из 36 тем учебного плана. Средние оценки педагогической эффективности для каждого виртуального студента приведены в таблице 1, а разговорного соответствия - в таблице 2. Результаты Цикла 1 указывают на 2 вещи. Во-первых, оценки характеристик AutoTutor были обратно пропорциональны независимости Утверждений виртуальных студентов. Т.е. AutoTutor лучше работал со студентами, которые мало говорили, а именно со Средним и Молчаливым. Во-вторых, общие характеристики AutoTutor могут сопротивляться значительным улучшениям.

После просмотра данных Цикл?