Исследовательский_семинар_№3 (исправленная)

Файл: /static/event-files/evt-intensive-05/Исследовательский_семинар_№3.docx

Исследовательский семинар №3 Проект 1. ИИ-тренажер консультативного взаимодействия Спикер Дмитрий Николаевич. Проект со слов спикера Проект посвящен подготовке студентов-консультантов. Исходная проблема сформулирована как недостаточность привычного формата тренировки, когда студенты отрабатывают консультативные навыки друг на друге. В такой ситуации ускользает предметность: нет настоящего клиента, нет устойчивого запроса, нет достаточно плотной работы с проблемой. Студенты опасаются навредить друг другу, поэтому не углубляются в сложные нюансы. На этом фоне у них может формироваться завышенная самооценка консультативных возможностей: кажется, что навык уже освоен, но при выходе на практику обнаруживаются более скромные реальные возможности. Идея проекта - использовать большие языковые модели и агентов на их основе как тренажер консультативного взаимодействия. Эксперимент планируется в привязке к дисциплине «Теория и практика консультативного процесса»; дополнительно проект связан с работой магистрантов, которые занимаются созданием такого тренажера. Осенью предполагается пилотный сбор данных на магистрантах второго курса, чтобы проверить, какие элементы формы работают, а какие нет. Консультативный процесс спикер раскладывает на три фазы: предварительная подготовка; сама консультация и взаимодействие с клиентом; последующая рефлексия о том, что было сделано и как это было сделано. В привычной учебной работе чаще всего отрабатывается средняя часть - приемы взаимодействия, техники ведения консультации, сбор данных, отдельные интервенции. Подготовительная часть и полноценная итоговая рефлексия представлены слабее. Из-за этого формируемый навык оказывается неполным. Важный акцент проекта - различение клиента и объекта профессиональной работы. Клиент и консультант являются субъектами взаимодействия, а объектом работы становится не личность клиента как таковая, а его запрос, проблема, пространство проблемной ситуации. Если студент считает объектом работы самого клиента, это может вести к неверным интерпретациям и интервенциям. Агент должен совмещать две логики. Во-первых, нужна формализованная структура типичного клиента: например, характеристики тревожного клиента, типичные вопросы, реакции на запросы консультанта, ожидаемые паттерны поведения. Во-вторых, одной формализации недостаточно. Если агент будет только механическим набором правил, он быстро станет неинтересным и перестанет вызывать рефлексию. Поэтому предлагается добавить вариативность через биографические и ситуативные элементы, собранные у реальных людей, но полностью очищенные от персональных данных. Эти элементы нужны не для раскрытия реальных историй, а для оживления реакций агента и разнообразия консультативных сценариев. Теоретическая рамка заявлена через Выготского. Консультативный навык мыслится как психическая функция, которая сначала возникает в межпсихическом пространстве - во взаимодействии студента с другим, а затем интериоризируется и становится устойчивой способностью. Агент в этой логике выступает прототипом другого, с которым студент может тренировать навык. Также спикер связывает тренажер с зоной ближайшего развития: специально спроектированная среда должна давать студенту дозированную помощь и поддерживать движение к более сложному действию. Гипотеза проекта: использование агента позволит усилить навыки организации консультативной деятельности, сделать самооценку студентов более реалистичной и повысить способность понимать клиентский запрос и реагировать на него. Экспериментальная схема предполагает контрольную и экспериментальную группы. В экспериментальной группе студенты будут выполнять серию консультативных сессий с агентом; предполагается не менее десяти таких сессий. Система будет сохранять ход взаимодействия, что важно для последующего анализа: в отличие от ретроспективных отчетов, здесь можно увидеть, что реально происходило в консультации. Методы оценки делятся на две группы: метрики процесса: как строится сессия, какие действия выполняет студент, какие вопросы задает, как реагирует на ответы агента; метрики качества консультанта: как меняется профессиональное действие, самооценка, способность работать с запросом и рефлексировать собственную практику. В качестве рисков спикер обозначил формализацию задания при передаче технологии другим преподавателям, выполнение студентами заданий «ради отчета», механистичность тренажера и разрыв между практическим действием в тренажере и теоретической базой консультирования. Чтобы этого избежать, роль преподавателя должна смещаться от транслятора готового знания к фасилитатору и модератору процесса обучения. Вопросы, ответы и комментарии Будут ли психологи выпускаться с теми же дефицитами без ИИ Вопрос. Если бы ИИ не появился, выпускались бы психологи с теми недостатками подготовки, которые были названы в начале выступления? Ответ Дмитрия Николаевича. Да, эти недостатки трудно преодолеть в обычной программе, потому что для полноценной подготовки требуется больше времени и больше практических часов. Студенты получают первичный навык и на его фоне могут переживать псевдокомпетентность: им кажется, что они уже умеют консультировать. ИИ-тренажер может интенсифицировать практику и сделать доступное учебное время более плотным. Он не сделает студентов идеальными специалистами, но может дать опережение в развитии навыка. Комментарий модератора. Важно посчитать, сколько часов сейчас реально тратится на тренировку консультативных компетенций, сколько часов нужно для достаточной подготовки и как это можно измерить. Ответа на этот расчет пока нет; вопрос принят к дальнейшей проработке. Комментарий Тимура Щукина: проект нужно резко сузить Комментарий Тимура Щукина. В текущем виде проект выглядит как программа минимум на год: слишком много переменных, объектов и уровней, которые придется контролировать. Есть контрольная группа, типы клиентов, типы проблем, конкретные консультативные практики, самооценка студента, экспертная оценка, образовательный процесс и устройство самого агента. Получается многослойная конструкция, где каждый уровень еще и многофакторен. Щукин предложил не пытаться сразу построить весь тренажер консультирования, а выбрать вертикальный срез: один тип события, один набор параметров и одну связку уровней. Например, можно взять установление контакта, конкретный тип клиентской проблемы, конкретную технику и конкретный механизм рефлексии. Такой срез позволит описать связку факторов точно, провести эксперимент в обозримое время и затем масштабировать подход на другие комбинации. С технической точки зрения это тоже правильнее: сначала нужно получить формат описания таких связок и экспериментальных гипотез, а потом переносить их на другие случаи. Иначе техническое задание будет пытаться закрыть слишком много вариантов одновременно. Что именно является интервенцией Вопрос модератора. Почему контрольная группа «без специальных заданий»? Что именно предполагается как интервенция: сам ИИ, безопасная практика, большое число повторений, рефлексия, предметность или зона ближайшего развития? Ответ Дмитрия Николаевича. Контрольная группа будет выполнять те задания, которые выполняет сейчас в традиционном подходе. Тренажер получит только экспериментальная группа. Главным свойством тренажера спикер считает рефлексию: агент позволяет собрать предметность для рефлексии, потому что обычные учебные мини-сессии между студентами слишком поверхностны. Комментарий модератора. С гипотезой нужно еще работать. Если ставка делается на безопасную практику и большое количество повторений, это одна логика тренажера. Если ставка делается на рефлексию как механизм интериоризации, это другая логика, и тогда нужно объяснить, почему рефлексию нельзя организовать без тренажера. Если ставка делается на зону ближайшего развития, нужно операционализировать ее: как определить зону ближайшего развития конкретного студента и какую дозированную помощь должен давать агент или преподаватель. Статус вопроса. Ответ дан частично. Спикер согласился, что зона ближайшего развития пока перспективная, но технически неоперационализированная тема. Опыт ELIZA и исторические аналоги Вопрос Натальи Николаевны. Учитывался ли опыт программы ELIZA, созданной в MIT в 1960-е годы и имитировавшей терапевтический диалог? Ответ Дмитрия Николаевича. Пока к этому опыту не обращались, поскольку проект находится в области психологии, а ELIZA связана с психиатрическим контекстом. Спикер поблагодарил за подсказку и сказал, что этот опыт нужно изучить. Дополнение Натальи Николаевны. Сайт с ELIZA продолжает работать, и студенты могут потренироваться на нем для сопоставления. Статус вопроса. Ответ дан: опыт ELIZA не учтен, но принят к изучению. Итог по проекту Сильная сторона проекта - ясное проблемное ядро: обычная тренировка консультантов не дает достаточной предметности и рефлексии. Слабое место - слишком широкий охват и смешение нескольких возможных механизмов эффекта. Следующий шаг - выбрать узкий вертикальный срез, явно сформулировать интервенцию и развести безопасную практику, рефлексию, предметность и зону ближайшего развития как разные гипотезы. Проект 2. «Донести свою боль»: калибровка доверия к ИИ в цифровой экономике Спикер Евгений Викторович. Проект со слов спикера Проект относится к дисциплине «Цифровая экономика» и связан с реальной педагогической «болью»: студенты активно используют ИИ при выполнении заданий, но часто не понимают границ его применимости. Исходная проблема описана через два эффекта. Первый эффект - галлюцинации и уверенная неверность ИИ. При анализе экономической эффективности цифровых решений студенты получают от моделей методики и расчеты, которые могут не соответствовать российскому контексту. Например, модель может предлагать зарубежные подходы или международные стандарты там, где в задании нужно опираться на российские методики и законодательство. Второй эффект - парадокс доверия. Модель говорит уверенно, текст выглядит корректно, поэтому студенты принимают ответы «за чистую монету». Они быстрее закрывают задание, но не проходят исследовательский путь: не ищут источники, не сопоставляют методики, не проверяют применимость. В результате задание формально выполнено, но остаточных знаний, системного анализа и устойчивого понимания не остается. Ключевой вопрос проекта - как калибровать доверие к ИИ. Под доверительным отношением к ИИ спикер понимает не слепую веру и не полный отказ, а соответствие между готовностью полагаться на ИИ и умением регулировать эту готовность. Предлагается сравнить два формата учебной поддержки: работа с преподавателем и источниками без использования ИИ; работа с ИИ-ассистентом при выполнении заданий. Оцениваться должны успеваемость, глубина понимания сложных концепций, удовлетворенность процессом, критическое мышление и самостоятельность поиска информации. Глубина понимания предполагается через интервью и анализ того, как студент объясняет решение, а не только через правильность итогового ответа. Гипотеза спикера: студенты, использующие ChatGPT или аналогичную модель, быстрее справляются с рутинными заданиями, но хуже понимают причинно-следственные связи; группа с преподавателем должна показать более высокий результат в заданиях, требующих критичности и междисциплинарного переноса. Возможные роли ИИ в проекте: учебный ассистент для оперативной помощи; персонализированная поддержка в течение периода обучения; инструмент стимулирования самостоятельной работы; цифровой тьютор внутри занятий. Дизайн предполагается перекрестным: группа делится на две подгруппы, затем режимы работы меняются. В одной фазе студенты работают с преподавателем, в другой - с ИИ. На выходе должны сравниваться успеваемость, глубина понимания, удовлетворенность, доверие, критическое мышление и самостоятельность. Вопросы, ответы и комментарии Не заложена ли в гипотезу заранее негативная оценка ИИ Вопрос. В формулировках цели и гипотезы кажется, что студенты с ИИ заранее поставлены в проигрышную позицию: будто проект должен доказать, что использование ИИ вредно. Можно ли переформулировать задачу иначе - например, какие форматы заданий или методическая база позволяют использовать ИИ с пользой? Ответ Евгения Викторовича. Спикер пояснил, что ему важно не доказать вред ИИ как такового, а добиться критического отношения студентов к сгенерированному материалу. Сейчас студенты приносят ответы, созданные ИИ, и не замечают, что там могут быть неподходящие зарубежные методики. Преподаватель вынужден доводить их до понимания, какая модель или методика применима к российскому законодательству и российским подходам к оценке эффективности. Задача проекта - чтобы студенты научились доходить до этого сами. Комментарий модератора. В текущем виде эксперимент действительно рискует доказывать заранее известный тезис: если дать студентам зарубежную модель, не пустить их на лекцию и не сопровождать методически, результат будет хуже. Это не требует эксперимента. Более продуктивная рамка - «продуктивное недоверие»: нужно исследовать, когда и почему студент доверяет или не доверяет разным собеседникам, включая ИИ, преподавателя и другие источники. Слепое доверие преподавателю так же непродуктивно, как слепое доверие ИИ. Что именно студенты должны научиться делать Вопрос. До чего студенты должны доходить самостоятельно? Ответ Евгения Викторовича. Они должны уметь определить, какая методика и какая модель ИИ способны корректно отвечать на конкретные вопросы в рамках российского законодательства и российских методик оценки эффективности. Например, в финансово-экономическом задании они должны понимать, когда нельзя автоматически брать международные стандарты или зарубежные методики вместо российских. Комментарий модератора. Тогда предметом обучения становится не просто «доверять или не доверять ИИ», а позиция студента по отношению к любому источнику знания. Нужно описать, что такое продуктивное недоверие в действии: в какой момент студент останавливается, что проверяет, с чем сопоставляет, как принимает решение о достоверности. Роли ИИ требуют различения Вопрос модератора. В презентации названы цифровой тьютор, учебный ассистент, стимулятор самостоятельной работы и другие роли. Чем они отличаются друг от друга и чем отличаются от обычной LLM? Ответ Евгения Викторовича. Спикер признал, что разбивка ролей пока не выстроена полностью. Пока это скорее набор предполагаемых функций. Статус вопроса. Ответ частичный. Роли ИИ нужно описать содержательно: какие функции выполняет каждая роль, какие действия запрещены, какие данные использует и как именно ее участие должно влиять на образовательный результат. Знания не остаются не из-за ИИ самого по себе Комментарий модератора. Тезис «после общения с ИИ знания не остаются» требует уточнения. Знания могут не оставаться и после общения с преподавателем, если не организована деятельность студента. Если студент просто задал вопрос, получил ответ и пошел дальше, то никакое знание не сформируется. Но это проблема организации деятельности, а не только проблема ИИ. Группа с преподавателем и группа с ИИ должны быть поставлены в сопоставимые ситуации; иначе эксперимент будет сравнивать дискуссию с преподавателем против простого копирования ответа из чата. Также важно учитывать стили взаимодействия с ИИ: когда студент просто передает модели текст задания, результат один; когда он работает как «кентавр» или «киборг», проверяет, спорит, уточняет и перестраивает ответ, результат может быть другим. Поэтому центральной переменной может стать не наличие ИИ, а способ взаимодействия с ним. Комментарий Тимура Щукина: гипотеза и контргипотеза Комментарий Тимура Щукина. В эксперименте важно формулировать не только гипотезу, но и контргипотезу. Если гипотеза говорит, что ИИ быстрее решает рутинные задачи, а преподаватель лучше объясняет причинность, нужно сформулировать и обратные варианты: ИИ может лучше помогать с причинностью, преподаватель может быстрее закрывать рутину. Хороший исследователь должен пытаться доказать обе стороны, а затем смотреть, что соответствует данным. Если автор замечает, что эксперимент заведомо настроен на доказательство одной гипотезы, полезно сознательно сосредоточиться на доказательстве контргипотезы. Это снижает риск предвзятости. Вторая точка роста - понятие доверия. Его нельзя сводить к простой оппозиции «людям доверяю, ИИ не доверяю». Доверие связано с достоверностью, истинностью, применимостью, основанием модели, типом знания и предметной областью. Для экономики это особенно важно: критерии достоверности экономического знания устроены иначе, чем, например, в ядерной физике или инженерии мостов. Если достоверным считается только то, что сказал учебник или преподаватель, это превращается в догматику, а не в критическое мышление. Щукин предложил разбирать доверие именно на материале экономики: какие модели считаются рабочими, на каком основании, в каком контексте, с какой вероятностью, для каких объектов и процедур. Тогда калибровка доверия к ИИ станет не моральным запретом, а содержательной практикой проверки экономического знания. Итог по проекту Проект фиксирует реальную педагогическую проблему: студенты используют ИИ как быстрый источник готового ответа и плохо проверяют применимость результата. Но эксперимент нужно перестроить так, чтобы он не доказывал заранее заданный тезис «ИИ вреден». Центральным объектом может стать продуктивное недоверие: способность студента проверять любой источник, различать контексты достоверности и осознанно выбирать способ взаимодействия с ИИ. Проект 3. ИИ-методист для преподавателя вуза Спикеры Ольга Викторовна и Елена Владимировна. Проект со слов спикеров Проект называется «ИИ-методист для преподавателя вуза: от методических рутин к педагогическому дизайну». Команда работает в управлении дистанционных образовательных технологий и сталкивается с системным противоречием: вузу нужны современные вовлекающие онлайн-курсы, но преподаватель чаще всего является глубоким предметным экспертом, а не педагогическим дизайнером. Из этого возникают три группы барьеров. Методический барьер: преподаватель механически переносит лекции и видео в онлайн-курс. В результате студентам неинтересно, а формы контроля не соответствуют заявленным компетенциям. Ресурсный барьер: материалы разрознены - старые методички, презентации, заметки, лекции. Их сборка, структурирование и актуализация занимают месяцы, а у преподавателя обычно нет на это времени. Психологический барьер: преподаватель боится, что запись курса или автоматизация методической работы приведет к замене его как специалиста. На выходе возникают формальные онлайн-курсы, выгорание преподавателей и снижение качества образования. Исследовательский вопрос проекта: как внедрение ИИ-методиста повлияет на качество методического проектирования курса, время преподавателя на создание онлайн-курса и результативность освоения дисциплины студентами? Заявлены три гипотезы: ИИ-методист сократит время пересборки курса минимум на 40%; методическая строгость курса повысится: конструктивная согласованность вырастет до 85%, доля практико-ориентированных заданий достигнет 70%, число таксономических ошибок сократится в два раза; дифференцированная траектория повысит долю студентов, успешно осваивающих заявленные компетенции дисциплины. Проект концептуализируется как перевод онлайн-курса из набора рабочей программы, лекционных материалов и библиотеки файлов в структурированную педагогически обоснованную цифровую или гибридную образовательную среду. Три ключевых концепта: конструктивная согласованность - связь заявленных результатов, учебных активностей и инструментов оценки; ассистированный педагогический дизайн - нейросеть выступает не автором контента, а методическим навигатором; адаптивная образовательная траектория - путь освоения материала зависит от уровня студента и типа затруднений. ИИ-методист описан как языковая модель плюс база педагогических теорий, шестишаговая структура действий и валидационный агент. Процесс начинается с загрузки рабочей программы дисциплины и материалов курса, затем система анализирует компетенции, генерирует структуру, проверяет выдачу результата, оценивает таксономический уровень и соответствие целей, заданий и оценивания. Генеративный контур предлагает кейсы и форматы траекторий, а валидационный контур проверяет методическую корректность. В базу знаний предполагается заложить конструктивное выравнивание, таксономию Блума, теорию когнитивной нагрузки, девять событий обучения Ганье, андрагогику Ноулза, зону ближайшего развития Выготского и универсальный дизайн обучения. Система должна не просто давать советы, а работать по педагогическим правилам. Проектный уровень сейчас оценивается на 2-3: от поддержки преподавателя и разгрузки от рутины к проектированию и валидации курса с помощью ИИ. В перспективе команда видит возможность масштабирования до университетской платформы. Эксперимент предполагает четыре этапа: подготовка преподавателей, интервенция, сбор количественных и качественных данных, апробация на студентах. Риски связаны с тем, что преподавателю может быть лень перепроверять ИИ, он может не уметь с ним общаться, а система может давать слабые рекомендации. Контрмеры: валидационный контур, готовые сценарии, поддержка на старте, фиксация не только результата, но и следов работы - итераций, отклоненных рекомендаций, изменений курса. Итоговое видение: ИИ-методист не заменяет преподавателя, а забирает рутину сборки и методической настройки курса. Преподаватель должен высвободить время для живой наставнической работы и передачи уникального опыта. Вопросы, ответы и комментарии Будет ли человеческая экспертная оценка результата ИИ Вопрос. Планируется ли экспертная человеческая оценка анализа и рекомендаций, которые выдает ИИ-методист? Ответ Ольги Викторовны. Да, предполагается экспертная группа. Она должна оценить преподавателей и курс на входе и на выходе: что получилось после трансформации, насколько курс соответствует заданным параметрам и теоретическим рамкам, а затем как он работает со студентами. Планируются анкетирование до и после, экспертная оценка курса и дальнейшая проверка освоения студентами. Насколько преподаватель обязан следовать рекомендациям Вопрос. Будут ли у преподавателей жесткие рамки следования рекомендациям ИИ-методиста? Например, нужно ли выполнить не менее определенной доли рекомендаций? Ответ Ольги Викторовны. Предполагается, что пересборка курса будет идти при помощи ИИ-методиста: система будет показывать следующий шаг, анализировать сделанное, указывать, что не подходит дисциплине или заявленным целям. На начальном этапе команда хочет посмотреть, что вообще получится, как это оценит эксперт-методист, что скажут преподаватели и насколько все это соотносится с ожидаемым результатом. Статус вопроса. Ответ частичный. Жесткая мера следования рекомендациям не определена. Требуется отдельно решить, что считать использованием ИИ-методиста: принятие рекомендаций, осмысленное отклонение, итеративную работу или итоговое качество курса. Как связана эффективность курса и студенческие результаты Вопрос. Как будет проверяться эффективность на студентах и с чем она будет сравниваться? Основная задача проекта - облегчить методическую сборку курса; насколько студенты вообще могут оценивать этот процесс? Ответ Ольги Викторовны. Студенты не будут оценивать методическую работу напрямую. Они будут проходить курс, а команда будет смотреть результаты прохождения, оценки, затраченное время, технические параметры активности. Например, сейчас видно, что студенты могут запускать два курса в параллельных вкладках: формально видео просмотрено, но по техническим следам понятно, что студент его не слушал. ИИ-методист должен помочь уйти от «метода лопаты», когда 90-минутная лекция просто выкладывается на портал без фрагментации, заданий и согласования с контролем. Комментарий участницы обсуждения. Все равно неясно, как эти вещи связаны. Сборка методически качественного курса и проверка эффективности на студентах - разные задачи. Эту связь нужно продумать отдельно. Комментарий Тимура Щукина: облако ролей Комментарий Тимура Щукина. Фигура ИИ-методиста сейчас слишком много в себя вмещает и «болтается» между ролями: методист, педагогический дизайнер, преподаватель, автор РПД, помощник по формальным документам, проектировщик образовательной среды. У каждой роли разные функции, входные данные и отношения с другими ролями. Если задача - формально заполнить РПД или отчетные документы, это узкая и полезная автоматизация. Если задача - педагогический дизайн курса, это уже другая работа: нужно понять модель компетенций, требования преподавателя, образовательные события, способы оценки, материалы, ограничения платформы. Из РПД и расшифровок лекций не всегда можно извлечь все, что нужно образовательному дизайнеру. Поэтому первый слой работы - расщепить «облако ролей» и описать каждую функцию отдельно. После этого станет понятно, для кого именно работает ИИ-методист, что получает на вход, что выдает на выход и кто несет ответственность за результат. Комментарий Тимура Щукина: человек в петле Комментарий Тимура Щукина. Ответ на вопрос о человеке в петле зависит от того, какую роль выполняет система. Если ИИ-методист - рутинная машина для формальных документов, человека можно один раз встроить как калибратора, а затем почти исключить из процесса. Если же речь идет о содержательной работе с курсом, человек нужен принципиально иначе: как источник модели, как верификатор, как тот, кто выбирает опорные теории, как участник педагогического проектирования. Человека нельзя оставлять только в роли оценщика результата ИИ. Нужно понять, где именно его компетенция включена в саму работу системы. Комментарий Тимура Щукина: гипотеза о самом ИИ Комментарий Тимура Щукина. В каждом проекте есть скрытая гипотеза о том, что такое ИИ и что он способен делать. Здесь такая гипотеза тоже есть: будто если положить в RAG набор педагогических теорий, машина автоматически превратит их в основание для работы. Но тексты теорий не превращаются сами собой в способ мышления. Нужны промежуточные шаги, которые объясняют машине, как «надевать шляпу» теории: как интерпретировать текст, как превращать его в точку зрения, как применять его к объекту. Если просто дать модели набор теоретических текстов, она разберется непредсказуемым образом. Особенно важно развести разные теории. Если в базе лежат подходы, построенные на разных основаниях, система должна знать, что делать при конфликте моделей. Иначе она будет случайно смешивать Выготского, Блума, Ганье, когнитивную нагрузку и универсальный дизайн обучения. Зона гибридности возникает именно там, где человек объясняет машине, как работать со сложными смысловыми конструкциями. Комментарий модератора: нельзя проверять плохой курс на студентах Комментарий модератора. Если исходный тезис проекта состоит в том, что преподаватель методически не умеет собирать онлайн-курс, то возникает вопрос: что именно он валидирует? Он может быть предметным экспертом, но не методистом. Значит, методическое качество должен валидировать кто-то, у кого есть соответствующая компетенция. Кроме того, не вполне честно проверять качество курса на студентах как на финальном фильтре. Сначала нужны критерии хорошего и плохого курса, по которым можно оценить курс до запуска. Плохой курс не должен доходить до студентов. Материалы курса, устройство заданий, согласованность целей и контроля должны позволять прогнозировать результативность до проведения. Отдельный вопрос: что именно делает проект - ресурс, который превращает экспертизу преподавателя в онлайн-курс, или сервис, который помогает преподавателю самому превращать свою экспертизу в онлайн-курс? Это разные продукты и разные экспериментальные логики. Теоретическая рамка проекта Комментарий модератора. Теоретическая рамка в эксперименте - это не список теорий, которые кладутся в базу знаний для ИИ. Это основание самого экспериментального действия: на какой концепции держится проект, почему проблема устроена именно так, почему выбранная интервенция должна сработать. Можно заложить в ИИ одни теории, а самому проекту опираться на другие, но тогда это нужно явно осознавать. Как отличать хорошие курсы от плохих Комментарий модератора. Поведение студентов может стать источником критериев качества курса. Если студенты запускают плохие курсы в двух окнах и проходят формально, стоит изучить, какие обучения они проходят иначе. Чем отличаются программы, которые студенты действительно проходят, от тех, которые они имитируют? Критерии хорошего курса можно брать не только из педагогической теории, но и из реального поведения студентов. Итог по проекту Проект предлагает сильную практическую идею: разгрузить преподавателя от методической рутины и повысить качество онлайн-курсов. Главные зоны доработки - разложить ИИ-методиста на отдельные роли, определить место человека в петле, не смешивать разные педагогические теории в одном RAG без правил применения и построить критерии качества курса до проверки на студентах. Проект 4. ИДА: искусственная дата-аналитика для сильных студентов Спикеры Светлана Александровна и Елена Петровна. Проект со слов спикеров Проект называется «ИДА» - искусственная дата-аналитика. Он посвящен дисциплине «Дата-аналитика» и работе с сильными студентами. Исходное противоречие сформулировано как дефицит индивидуализации образовательного процесса для студентов, которые быстро осваивают стандартный материал и начинают терять интерес, пока преподаватель разбирает типичные ошибки со всей группой. Решение видится в создании автономного агента, встроенного в среду Jupyter. Это принципиально отличает проект от обычного чат-бота: ИДА должна быть не просто проверяющим решением, а симулятором и сопровождающим агентом внутри привычной для студентов рабочей среды. Для студентов ИДА должна стать персональным наставником в рамках дисциплины. Для преподавателя - ассистентом, который через дашборд показывает аналитику по конкретному студенту и его работе с заданиями. Дисциплина «Дата-аналитика» выбрана как полигон, потому что она требует одновременно аналитического мышления, технических навыков и практико-ориентированного решения задач. Целевая аудитория - сильные студенты, которые быстро схватывают новый материал, справляются со стандартными задачами и затем оказываются в образовательном вакууме. Им неинтересно ждать разбора типичных ошибок, но для них не всегда есть дополнительные задания соответствующей сложности. Идея продукта включает три основные цели: давать студентам поток уникальных продвинутых заданий с синтезированными датасетами; автоматически проверять не только код, но и логику решения, корректность интерпретации, обоснованность выводов; выдавать персональные подсказки в соответствии с ошибками конкретного студента. Основная гипотеза: студенты, работающие с ИДА, покажут статистически значимое улучшение по сравнению с контрольной группой. Предполагаемые метрики: качество аналитической работы; способность применять активный подход к решению заданий; скорость адаптации к новым типам данных; методическая и предметная точность; итоговая успеваемость и освоение материала. Уточняющие гипотезы связаны с тем, что работа с ИДА должна формировать более эффективные навыки постановки задач, усиливать интерпретацию результатов и снижать количество типичных ошибок за счет повторного обращения к симулятору. Архитектура пока находится в разработке. Выделены два основных блока: генерация заданий и преподавательский агент. Техническое задание планируется детализировать в августе. Эксперимент предполагается начать в сентябре 2026 года: сначала пилотное тестирование, затем основной этап, затем заключительный анализ и рефлексия в июне 2027 года. Ожидаемые эффекты: для студентов - рост удовлетворенности, вовлеченности и освоения дисциплины; для преподавателей - экономия времени и получение аналитики по индивидуальному прогрессу; для университета - рабочий продукт и статистический корпус данных о том, как ИДА влияет на качество аналитических работ. Риски разделены на технические, методологические и организационные. Технические связаны со сбоями системы; методологические - с тем, что новизна продукта может сама по себе повышать интерес студентов; организационные - с тем, что участники контрольной группы могут чувствовать себя обделенными. Вопросы, ответы и комментарии Почему ИИ для сильных студентов, а не для слабых Комментарий участницы обсуждения. Возможно, золотой ход - использовать ИИ не для сильных, а для слабых студентов. Слабым студентам особенно важна мгновенная реакция на задания и помощь в формировании навыков. Сильным, наоборот, нужна оценка преподавателя, эмоциональная поддержка и индивидуальная работа с человеком. Ответ Елены Петровны. Команда рассуждала так: это начальный эксперимент, и безопаснее начать с сильных студентов как с приложения к основному курсу. Если продукт удастся, потом его можно будет масштабировать и на слабых студентов или изменить распределение ролей. Сейчас есть осторожность: средние и слабые студенты получают базовую программу и в целом осваивают компетенции, а сильные с середины семестра начинают «болтаться» без интересных задач. Уточняющий вопрос. Почему не попробовать сразу? Ответ. Из-за осторожности. Разрушить образовательный процесс легко, а эффект нового инструмента пока неизвестен. Поэтому команда хочет сначала работать там, где риск меньше: с сильными студентами, которые уже закрывают базовую программу. Сравнимы ли контрольная и экспериментальная группы Вопрос Марии Петровны. Если в экспериментальной группе сильные студенты, а в контрольной слабее, исходные условия эксперимента нарушаются. Как тогда сравнивать группы? Понятнее было бы сравнивать сильных студентов с ИИ и сильных студентов без ИИ. Ответ Елены Петровны. Спикеры уточнили, что контрольная и экспериментальная группы должны включать именно сильных студентов. Идея не в том, чтобы сравнивать сильных со слабыми, а в том, чтобы сравнить сильных студентов с ИДА и сильных студентов без ИДА. Статус вопроса. Ответ дан: исходная логика групп уточнена. Что такое нетривиальная исследовательская задача Вопрос модератора. Можете привести пример нетривиальной исследовательской задачи, например по предобработке таблиц? Не очень понятно, о каком уровне задач идет речь. Ответ Елены Петровны. Примером может быть работа с пропущенными данными: поиск, восстановление, выбор способа обработки, использование более широкого набора методов, чем рассматривается на занятиях. Сильные студенты часто спрашивают, можно ли сделать иначе или применить другой метод; ИДА должна подстраиваться под такие запросы и давать более широкое поле задач. Комментарий модератора. Более сложная задача не всегда является нетривиальной исследовательской задачей. Нужно отдельно описать, что делает задачу исследовательской в пяти заявленных категориях, откуда берутся такие задачи и чем они отличаются от просто усложненных упражнений. Что именно проверяет пилотное тестирование Вопрос модератора. Что означает пилотное тестирование перед основным этапом? Ответ Елены Петровны. Команда не хочет сразу распространять продукт на все группы. Сначала предполагается протестировать само ИИ-решение на сильных студентах, которые уже проходили дисциплину и сами выражали интерес к участию. Это позволит выявить технические и методологические проблемы до запуска основного эксперимента. Статус вопроса. Ответ дан: пилот проверяет работоспособность и качество самого решения, а не основной образовательный эффект. Почему не сделать три трека сложности без ИИ Вопрос модератора. Почему не разделить студентов на слабых, средних и сильных и не дать им разные задания внутри курса? Для этого ИИ может быть не нужен. Ответ Елены Петровны. Дисциплина реализуется единым образом для всех преподавателей, поэтому возможности менять курс ограничены. Средние и слабые студенты получают компетенции в рамках базового курса, а сильным нужны дополнительные задачи. В перспективе можно думать о более широкой дифференциации, но сейчас команда фокусируется на сильных. Статус вопроса. Ответ частичный. Ограничение курса названо, но остается вопрос, нельзя ли организовать разные уровни заданий без специального ИИ-инструмента. Комментарий Тимура Щукина: не нужно решать все проблемы сразу Комментарий Тимура Щукина. Главная слабость проекта пока находится в зоне проблематизации. Если проект выбрал рамку сильных студентов, нужно работать именно с ней, а не смещаться к слабым студентам. Подтягивание слабых - это другой проект, с другими проблемами и решениями. Если пытаться решать все проблемы сразу, скорее всего, не будет решена ни одна. Для выбранной рамки нужно точнее сформулировать проблемное поле. Например, у сильных студентов могут быть две разные проблемы: задачи не соответствуют их уровню; при решении сложных задач им не хватает особого типа сопровождения. Отсюда возникают разные функции, которые должны быть организованы в педагогическом процессе: постановка индивидуальных сложных задач, сопровождение решения, вопросы, поддержка, аналитика прогресса. Затем нужно понять, какие из этих функций действительно имеет смысл передавать ИИ. Щукин предложил различать несколько экспериментальных вариантов: Базовый вариант - студенты решают обычные скучные задачи, как сейчас. Студенты решают более сильные задачи, но без ИИ. Студенты решают более сильные задачи при помощи обычной LLM в «окошке». Студенты решают более сильные задачи в специально организованной среде ИДА. Такой дизайн позволит понять, что именно дает эффект: наличие сложных задач, наличие методики сопровождения, сама LLM или специальная сборка ИДА. Без этого техническое задание будет закрывать десятки вариантов проблемы одновременно. Ключевая рекомендация - сфокусировать проблему сильных студентов в конкретном типе курса. Нужно описать функциональный набор, который сейчас не выполняется: что делали бы 500 бесплатных гениальных преподавателей, если бы они могли работать со студентами 24/7? После этого можно сказать: людей и времени нет, поэтому вот такие функции мы переводим на ИИ, потому что предполагаем, что он способен их выполнять. Только после такой сборки техническое задание станет точным. Итог по проекту Проект имеет понятный адресат - сильные студенты в дата-аналитике, которым не хватает индивидуальных сложных задач и сопровождения. Но нужно жестко удержать именно эту проблему, не превращая проект одновременно в поддержку слабых, дифференциацию всего курса и разработку универсального ассистента. Следующий шаг - развести эффекты сложных задач, обычной LLM и специально организованной среды ИДА.