UCL · AI-Governed Assessment Experiments

UCL AI-Governed Assessment Experiments находятся на уровне пилотного внедрения с кампусными испытаниями и распространением методических рекомендаций на факультеты. Практика характеризуется институциональной стабилизацией и адаптивным развитием, а не радикальным или полномасштабным rollout, что соответствует прототипному и ограниченному производственному уровню.

UCL — пилотные эксперименты с LLM как вспомогательным оценщиком письменных работ. Преподаватель — финальный арбитр. Гибридный контур оценивания.

До внедрения AI модели оценивания письменных работ в UCL опирались исключительно на ручной труд преподавателей, что приводило к ограниченной скорости проверки и несогласованности оценок, а также затрудняло выявление пробелов в аргументации и случаи плагиата. Существовала потребность в улучшении прозрачности и оперативности оценочного процесса без полной автоматизации, чтобы сохранить качество и ответственность оценки.

Ожидается, что использование LLM в качестве предварительного аналитика текста повысит эффективность оценивания письменных работ, ускорит процесс проверки и улучшит согласованность оценок за счёт системного анализа структуры аргументации и выявления пробелов. При этом роль преподавателя как финального арбитра сохраняется, обеспечивая надзор и контроль качества.

В архитектуре используется LLM как анализатор текста, обеспечивающий предварительный разбор и структуру аргументации, а также выявление пробелов и сходств с другими текстами для детекции плагиата. Система формирует гибридный контур контроля совместного оценивания, где окончательное решение принадлежит преподавателю. Точная техническая стек и провайдеры в исходных данных не указаны, но применены современные LLM с внедрением в образовательную инфраструктуру пилотных курсов.

В процессе участвуют три ключевые роли: преподаватель, который выступает в роли финального арбитра и обеспечивает контроль качества оценки; AI, выполняющий функцию предварительного аналитика текстов; и студент, являющийся автором письменных работ. Такая структура распределения ролей отражает модель hybrid assessment, где AI поддерживает преподавателя, не замещая его, а игроки взаимодействуют в рамках чётко определённых функций.

AI выполняет роль предварительного аналитика письменных работ, генерируя отчёты о структуре аргументации, потенциальных логических пробелах и возможных случаях плагиата. Он не принимает самостоятельных оценочных решений, а выступает как помощник преподавателя, облегчая его работу и повышая объективность анализа. Функциональная роль AI находится на уровне агентности 2 из 6 — ассистент без автономии.

При сдаче письменной работы студент выступает автором. Далее AI применяется для автоматизированного анализа текста, генерирует отчёт о структуре аргументации, выявляет возможные пробелы и плагиат. Этот отчёт передаётся преподавателю, который, основываясь на информации от AI, а также на собственном экспертном мнении, выносит окончательную оценку. Такой подход формирует совместный процесс оценивания с вспомогательной ролью AI без автономной автономии.

Внедрение AI-оценивания сопровождается сохранением роли преподавателя как финального арбитра, что обеспечивает нормативный контроль и governance процесса. Используется гибридный контур совместного оценивания, где ИИ интегрирован в традиционный процесс, позволяя адаптировать практики без радикальных изменений в нормативной базе. Масштаб ограничен пилотными курсами, с постепенным присоединением факультетов и созданием методических рекомендаций.

Метрики фокусируются на скорости проведения проверки письменных работ и согласованности оценок между преподавателями и AI. Выполнение оценки с помощью LLM позволяет повысить скорость предварительного анализа за счёт генерации отчётов о структуре аргументации, наличии пробелов и потенциальном плагиате. Масштаб измерений ограничен пилотными курсами в рамках кампуса UCL.

Среди рисков идентифицированы возможные ошибки или смещения AI-анализа, слабый уровень автономии и отсутствие полной прозрачности алгоритмических оценок. Существуют также проблемы с доверением преподавателей к выводам AI, а также риск goal-substitution — когда AI может отвлечь внимание от глубокого анализа к формальному отчету. Нечёткая аудируемость и возможная vendor lock-in остаются потенциальными угрозами при дальнейшем масштабировании. Кроме того, AI не обеспечивает замену преподавателя, что ограничивает уровень агентности.

Присутствует институциональное сопротивление в ключевых точках оценивания: возврат к ручной оценке, scepticism к AI-детекторам плагиата и ограничения в полномасштабном использовании AI в образовательных процессах. В отдельных университетах регистрируются откаты к in-person экзаменам и возврат к supervised format, что отражает контрсигналы против радикализации и автономизации AI-систем в оценивании. Аналогичные тенденции наблюдаются и в других UK/European университетах.

Подход UCL к гибридной AI-поддержке оценивания имеет потенциал для распространения на другие учебные заведения, особенно в контекстах, где требуется повысить скорость и согласованность оценивания без утраты ответственности преподавателей. Паттерн применения LLM как вспомогательного текстового аналитика и генератора отчётов может быть адаптирован для пилотных и факультетских курсов в институтах с похожей структурой контрола и governance.

Кейс иллюстрирует гипотезу H4 о трансформации университета в узел оркестрации интеллектов, где AI выступает вспомогательным аналитиком в учебном процессе, но не автономным агентом. Также подтверждается идея ограниченной агентности (2/6) и реализуется фасета MOD (модерация/оркестрация) и HYBR (гибридный контроль). Противоречие между автономизацией и управляемостью проявляется в сохранении роли преподавателя как арбитра, что согласуется с паттернами, описанными в [[H4-governance]] и [[autonomy-vs-control]].

Остаются неясными детали технической реализации AI-анализа (конкретные модели, дата, провайдеры) и результаты более длительного применения модели за пределами пилотных курсов. Также не полностью измерено влияние на качество преподавания, и существует неопределённость, как будет развиваться уровень автономии AI в будущем rollouts. Важный вопрос — как решить практические противоречия оценки с помощью AI и недавние откаты к традиционным формам контроля.

В следующем цикле рекомендуется детально проверить эффективность AI-аналитики по метрикам согласованности и скорости в сравнении с традиционным оцениванием, а также изучить реакцию преподавателей и студентов на гибридный процесс. Важно отследить последствия масштабирования системы на факультеты и её влияние на образовательное качество и academic integrity. Требуется мониторить развитие связанных политик governance и возможные изменения уровня агентности AI в функционале оценивания.