{"id":"pra-1d4cb44ffb","content_md":"DBG\\[OH=4/10 | register=research/architecture | check=method/gold-standard\\] Проект уже нашёл эталон; эталон пока сам участвует в эксперименте.\n\n# **Проект 6. «Цифровая семантика»: внедрение NLP-инструментов в анализ научной литературы**\n\n**Авторы:** Н. Н. Белозёрова, И. В. Соловьёва, Л. О. Бородулина\n**Контингент:** магистранты направления 45.04.02 «Прикладная лингвистика»\n**Общая рамка:** Augmented Research / комбинированный анализ Human + AI\n\nПрочитаны четыре материала:\n\n  - основная презентация о развитии проекта в 2023–2026 годах;\n  - дополнительная презентация с формализованной моделью эксперимента;\n  - развёрнутая концепция проекта;\n  - статья об апробации «внутримодельных» инструментов LLM в курсе «Языковые модели».\n\n# **1. Сводный вердикт**\n\nЭто **интеллектуально богатый и укоренённый в реальной практике проект**, за которым уже стоят:\n\n  - несколько лет преподавательской работы;\n  - публикации;\n  - апробация на магистрантах;\n  - пересборка программы по прикладной лингвистике;\n  - готовые учебные задания;\n  - реальные студенческие графы;\n  - опыт работы с DeepSeek, Perplexity, ChatGPT, GigaChat и Mistral;\n  - идея повторяемого квазиэксперимента с ротацией ролей.\n\nВ отличие от многих проектов, здесь ИИ не появился вчера вечером между титульным слайдом и словом «инновационный». Есть история развития, предметная школа и накопленный материал.\n\nНо сейчас в проекте соединены **пять разных проектов**:\n\n1.  курс по цифровым методам лингвистического анализа;\n2.  методика комбинированного исследования Human + AI;\n3.  эксперимент по развитию исследовательской компетентности студентов;\n4.  сравнение LLM и формальных NLP-инструментов;\n5.  фундаментальная гипотеза о том, как языковые модели воспроизводят закономерности языка и лингвистические теории.\n\nЭти уровни постоянно переходят друг в друга. Из учебного задания делается вывод об устройстве трансформера; из красивого графа — вывод о глубине понимания; из ответа DeepSeek — верификация Деррида; из будущего эксперимента — таблица с уже готовыми средними и p \\< 0.01.\n\nЭто главный дефект проекта:\n\n**богатство материала пока не собрано в один проверяемый образовательный эксперимент.**\n\nСамая сильная и реалистичная версия проекта:\n\n**исследовательская студия комбинированного анализа, где студент учится строить формальную модель текста, получать машинные варианты, проверять их по источнику, сравнивать методы, фиксировать расхождения и защищать итоговую интерпретацию с доказательным следом.**\n\nВ этой версии ИИ:\n\n  - извлекает;\n  - предлагает;\n  - структурирует;\n  - визуализирует;\n  - порождает гипотезы.\n\nСтудент:\n\n  - задаёт аналитическую схему;\n  - проверяет;\n  - сравнивает;\n  - интерпретирует;\n  - отвечает за вывод.\n\nФормальный пайплайн:\n\n  - не является истиной;\n  - даёт независимый машинный результат;\n  - помогает обнаруживать расхождения;\n  - сам оценивается относительно экспертной разметки.\n\nГлавный образовательный результат:\n\n**студент способен воспроизводимо провести комбинированный анализ нового текста, различить вывод источника, вывод инструмента и собственную интерпретацию, а затем защитить модель текста с цитатами и описанием ограничений.**\n\nЭто сильный проект. Его нужно освободить от нескольких фундаментальных заявок, которые пока держатся на том, что модель уверенно объяснила собственное устройство. Модель в таких случаях всегда спокойна. Тензоры в заседании не участвовали.\n\n# **2. Реконструкция развития проекта**\n\n## **Этап 1. Исходная проблема 2023 года**\n\nВ основной презентации проект начинается с трёх проблем использования генеративного ИИ студентами:\n\n1.  делегирование задачи;\n2.  обман;\n3.  восприятие ИИ как волшебного помощника.\n\nАвторы связывают их с более глубокими причинами:\n\n  - устаревшими формами представления исследовательского результата;\n  - желанием казаться успешнее;\n  - верой в автоматическое исполнение задачи.\n\nЭто важный поворот: проблема расположена не только в студенте и не только в технологии. Сама образовательная форма — курсовая работа как конечный текст — позволяет передать производство результата машине, сохранив внешний вид выполненной работы.\n\n## **Этап 2. Концептуализация и аналитика**\n\nВ 2023–2024 годах авторы начали использовать генеративные модели для анализа:\n\n  - параметров текстуальности;\n  - функций текста;\n  - семиотических модальностей;\n  - различных языковых и дискурсивных единиц.\n\nБыли созданы сотни генерируемых текстов, подготовлены публикации, появились дисциплины с ИИ-компонентом.\n\n## **Этап 3. Augmented Research**\n\nК 2025 году проект переходит к идее комбинированной работы:\n\nчеловек и машина выполняют разные функции внутри одного исследовательского процесса.\n\nВ преподавании начинают использоваться:\n\n  - генеративные модели;\n  - поисковые системы;\n  - NLP-процедуры;\n  - графовые представления;\n  - устная экспертная защита.\n\n## **Этап 4. Межпрофессиональный метакурс**\n\nПредлагается курс «Цифровая семантика», в котором студенты осваивают:\n\n  - обработку языковых данных;\n  - семантический анализ;\n  - цифровые визуализации;\n  - knowledge graph;\n  - time-line;\n  - centric map;\n  - комбинированную экспертно-машинную работу.\n\n## **Этап 5. Формализованный эксперимент**\n\nВ дополнительной презентации появляется более строгая конструкция:\n\n  - контрольная и экспериментальная группы;\n  - четыре текста;\n  - ручной анализ;\n  - DeepSeek;\n  - формальный пайплайн SpaCy + BERT;\n  - графы;\n  - устный комментарий;\n  - NASA-TLX;\n  - отсроченный перенос;\n  - экспертная оценка;\n  - статистическое сравнение.\n\nИменно этот слой следует взять за основу следующей версии проекта.\n\n# **3. Самое сильное ядро проекта**\n\n## **3.1. Найдена правильная проблема генеративного ИИ**\n\nАвторы не пытаются просто запретить студентам модели. Они меняют учебную задачу так, чтобы готовый сгенерированный текст перестал быть достаточным результатом.\n\nВместо «напиши работу» появляется цепочка:\n\n1.  задай способ анализа;\n2.  получи машинный результат;\n3.  построй формальное представление;\n4.  сравни с альтернативным результатом;\n5.  найди расхождения;\n6.  вернись к источнику;\n7.  объясни и защити выбор.\n\nЭто правильная реакция на генеративный ИИ.\n\n## **3.2. Есть распределение функций между человеком и машиной**\n\nВ материалах человеку отнесены:\n\n  - интерпретация;\n  - верификация;\n  - смыслопорождение;\n  - стратегический контроль.\n\nИИ:\n\n  - извлечение;\n  - структурирование;\n  - визуализация;\n  - тактический поиск.\n\nРазделение пока требует уточнения, но само направление правильное.\n\n## **3.3. Устный комментарий встроен в результат**\n\nГраф без защиты может быть:\n\n  - скопирован;\n  - сгенерирован;\n  - случайно принят;\n  - красиво отрендерен.\n\nОбязательный устный комментарий с цитатами возвращает студента в позицию автора решения.\n\nОсобенно сильна потенциальная экзаменационная конструкция:\n\nстудент получает граф и должен реконструировать по нему модель текста, основания связей и ограничения анализа.\n\n## **3.4. Введена взаимная проверка различных способов анализа**\n\nПроект не доверяет одному инструменту и предполагает сопоставление:\n\n  - ручного анализа;\n  - генеративной модели;\n  - формального NLP-контура;\n  - экспертной оценки.\n\nЭто может стать основой исследовательской грамотности:\n\nрезультат инструмента является версией, которую нужно соотнести с источником, аналитической схемой и результатами других методов.\n\n## **3.5. Ротация ролей может стать сильной педагогической архитектурой**\n\nВ основной презентации есть схема повторяемого эксперимента с ролями:\n\n  - «цифровики»;\n  - «аналоги»;\n  - «эксперты».\n\nЗатем роли меняются.\n\nЭто потенциально сильнее деления на постоянную экспериментальную и контрольную группы. Каждый студент осваивает:\n\n  - ручное чтение;\n  - машинную обработку;\n  - экспертное сравнение.\n\nТогда формируется не навык пользования одним сервисом, а способность различать способы производства знания.\n\n## **3.6. Есть реальный материальный корпус**\n\nПроект уже располагает:\n\n  - текстами разных жанров;\n  - примерами промптов;\n  - графами;\n  - студенческими комментариями;\n  - предыдущими результатами;\n  - публикациями;\n  - учебными планами.\n\nЭто существенно повышает готовность к ручному пилоту.\n\n# **4. Главные критические дефекты**\n\n## **Критический дефект 1. Объект проекта постоянно меняется**\n\nВ разных материалах проект занимается:\n\n  - цифровой семантикой;\n  - анализом научной литературы;\n  - извлечением методологии исследования;\n  - валидацией лингвистических теорий;\n  - визуализацией текстов;\n  - освоением NLP;\n  - исследованием устройства LLM;\n  - анализом поэзии;\n  - анализом тональности;\n  - построением учебной программы.\n\nНужно определить первый экспериментальный объект.\n\nСамая рабочая версия:\n\n**извлечение и моделирование методологической структуры научной статьи.**\n\nДля неё можно задать единый формальный объект:\n\n  - исследовательский вопрос;\n  - объект;\n  - материал;\n  - теоретическая рамка;\n  - единица анализа;\n  - метод;\n  - процедура;\n  - доказательство;\n  - вывод;\n  - ограничение.\n\nПока «методология текста» используется как понятие, содержание которого предполагается понятным. Оно не понятно настолько, чтобы его уже извлекал BERT.\n\n## **Критический дефект 2. Смешаны педагогическая, исследовательская и техническая гипотезы**\n\n### **Педагогическая гипотеза**\n\nСтуденты после комбинированной работы лучше анализируют новый текст самостоятельно.\n\n### **Инструментальная гипотеза**\n\nСочетание ручного анализа, LLM и формального пайплайна создаёт лучший итоговый результат.\n\n### **Техническая гипотеза**\n\nФормальный экстрактор точнее LLM в извлечении сущностей и связей.\n\n### **Визуально-когнитивная гипотеза**\n\nГрафы дают более глубокое понимание, чем линейный конспект.\n\n### **Фундаментальная гипотеза**\n\nLLM действует согласно моделям функционирования языка, потому что обучалась на языковых единицах.\n\nЭто пять разных исследований. Нельзя проверять их одной ANOVA и четырьмя текстами.\n\n## **Критический дефект 3. Исходная фундаментальная гипотеза сформулирована нефальсифицируемо**\n\nВ основной презентации сказано:\n\nесли при обучении моделей использовались языковые единицы, при генерации модель будет действовать согласно математическим формулам и моделям функционирования языка и языковых единиц.\n\nЗдесь возможны два чтения.\n\n### **Слабое чтение**\n\nМодель воспроизводит статистические закономерности языка.\n\nЭто почти тавтология: на языковых данных обучается система, которая должна генерировать языкоподобные последовательности.\n\n### **Сильное чтение**\n\nМодель реализует или подтверждает конкретные лингвистические и философские теории:\n\n  - Якобсона;\n  - де Богранда;\n  - Греймаса;\n  - Деррида;\n  - Остина;\n  - Сёрля.\n\nИз факта обучения на текстах это не следует.\n\nПроверяемая версия могла бы звучать так:\n\nПри задании формальной лингвистической схемы LLM способна производить предварительную разметку текста, частично совпадающую с экспертной разметкой, но демонстрирует систематические ошибки определённых типов.\n\nЗдесь есть:\n\n  - объект;\n  - результат;\n  - сравнение;\n  - возможность опровержения.\n\n## **Критический дефект 4. Запрос к модели не даёт доступ к её внутреннему механизму**\n\nВ статье и презентации используются запросы типа:\n\n  - «покажи, как работает self-attention на этом тексте»;\n  - «примени multi-head attention»;\n  - «покажи chain-of-thought»;\n  - «проведи tokenization»;\n  - «построй knowledge graph».\n\nНужно жёстко различить два режима.\n\n### **Реальное инструментальное применение**\n\nИспользуется:\n\n  - настоящий tokenizer;\n  - настоящий POS-tagger;\n  - dependency parser;\n  - NER;\n  - реальные attention weights доступной модели;\n  - программный алгоритм построения графа;\n  - код с фиксированной версией.\n\n### **Вербальная симуляция инструментального применения**\n\nLLM получает просьбу объяснить или изобразить, как мог бы работать соответствующий механизм.\n\nВо втором случае модель производит текстовое представление. Это:\n\n  - не её реальная токенизация;\n  - не её фактическая матрица внимания;\n  - не доступ к скрытому рассуждению;\n  - не внутренний knowledge graph;\n  - не эксперимент над архитектурой модели.\n\nЭто может быть полезным педагогическим моделированием. Его нельзя использовать как доказательство того, что внутренний механизм модели действительно сработал именно так.\n\nСейчас проект систематически перескакивает между этими уровнями.\n\n## **Критический дефект 5. «Внутримодельные инструменты» — опасная концептуальная упаковка**\n\nTokenization, stemming, parsing, sentiment analysis, self-attention и knowledge graph относятся к разным классам:\n\n  - предварительная обработка;\n  - лингвистический анализ;\n  - архитектурный механизм модели;\n  - прикладная классификация;\n  - форма представления знаний;\n  - генерируемый артефакт.\n\nОни не являются единым набором доступных пользователю «внутримодельных инструментов».\n\nДля курса следует разделить:\n\n1.  **внешние NLP-инструменты**;\n2.  **внутренние механизмы модели**;\n3.  **генерируемые моделью представления**;\n4.  **исследовательские процедуры пользователя**.\n\nБез этого студент легко принимает рассказ модели о self-attention за эксперимент с attention.\n\n## **Критический дефект 6. Формальный пайплайн ошибочно назначен эталоном**\n\nВ дополнительной версии SpaCy + fine-tuned BERT называется референтным эталоном.\n\nНо формальный пайплайн:\n\n  - тоже ошибается;\n  - зависит от разметки;\n  - зависит от языка;\n  - зависит от жанра;\n  - зависит от онтологии;\n  - требует обучения;\n  - извлекает только то, что заранее формализовано.\n\nОн должен быть **одним из сравниваемых способов**, а не золотым стандартом.\n\nЗолотой стандарт создаётся через:\n\n  - подробную инструкцию разметки;\n  - независимую работу нескольких экспертов;\n  - согласование расхождений;\n  - измерение межэкспертного согласия;\n  - фиксацию допустимой множественности интерпретаций.\n\nПосле этого с экспертной разметкой сравниваются:\n\n  - ручная работа студентов;\n  - LLM;\n  - формальный пайплайн;\n  - комбинированный результат.\n\nЭталон, который сам проходит проверку, называется участником. В таблице ему пока выдали другой бейдж.\n\n## **Критический дефект 7. SpaCy + BERT не образуют готовый экстрактор методологии**\n\nДля извлечения методологии научного исследования потребуется:\n\n  - явная онтология;\n  - схема сущностей;\n  - типы отношений;\n  - размеченный корпус;\n  - правила аннотации;\n  - обучение или настройка модели;\n  - метрики;\n  - отдельная обработка имплицитных элементов.\n\nОбычный NER может найти:\n\n  - организации;\n  - людей;\n  - даты;\n  - места.\n\nОн не найдёт автоматически:\n\n  - исследовательский вопрос;\n  - эпистемическое допущение;\n  - единицу анализа;\n  - тип доказательства;\n  - ограничение метода.\n\nПроекту нужно перестать называть будущий сложный исследовательский компонент сочетанием двух библиотечных имён. Это пока спецификация пожелания.\n\n## **Критический дефект 8. Студент видит «эталонный граф» до выполнения собственного анализа**\n\nВ экспериментальной группе предложен порядок:\n\n1.  студент читает текст;\n2.  формальный пайплайн строит эталонный граф;\n3.  студент видит его;\n4.  студент строит граф через DeepSeek;\n5.  сравнивает результаты;\n6.  комментирует.\n\nТакой дизайн не измеряет способность студента самостоятельно построить модель текста. Он измеряет способность:\n\n  - прочитать уже предложенную структуру;\n  - получить вторую структуру;\n  - сравнить две машинные версии.\n\nЭто может быть хорошим учебным заданием на верификацию. Но тогда нужно так и назвать результат:\n\nспособность сравнивать и критически редактировать машинные аналитические модели.\n\nЕсли измеряется самостоятельный анализ, эталон нельзя показывать до фиксации первой версии студента.\n\n## **Критический дефект 9. Экспериментальная и контрольная деятельность различаются слишком сильно**\n\nКонтрольная группа:\n\n  - читает;\n  - пишет линейный конспект;\n  - делает устное изложение.\n\nЭкспериментальная:\n\n  - работает с формальной онтологией;\n  - видит граф пайплайна;\n  - использует DeepSeek;\n  - строит граф;\n  - сравнивает модели;\n  - использует типы отношений;\n  - комментирует с цитатами.\n\nРазница будет вызвана всем пакетом:\n\n  - форматом задания;\n  - системой понятий;\n  - визуализацией;\n  - дополнительными инструментами;\n  - временем;\n  - структурированностью;\n  - требованием цитировать;\n  - сравнительной деятельностью.\n\nПоложительный результат не докажет преимущество Human + AI. Он докажет, что насыщенное структурированное задание сильнее обычного конспекта.\n\nНужен активный контроль с той же онтологией, рубрикой, временем и требованиями к цитатам.\n\n## **Критический дефект 10. Сравниваются продукты разных типов**\n\nВ материалах сопоставляются:\n\n  - линейный конспект;\n  - knowledge graph;\n  - time-line;\n  - centric map;\n  - устный комментарий.\n\nБолее сложная топология графа не означает более глубокое понимание.\n\nКоличество узлов и связей может отражать:\n\n  - избыточность;\n  - дробность;\n  - работу генератора;\n  - формат Mermaid;\n  - склонность модели к детализации;\n  - ошибочное типизирование отношений.\n\nСравнивать нужно по общему содержательному результату:\n\n  - точность;\n  - полнота;\n  - релевантность;\n  - доказательность;\n  - качество связей;\n  - способность переноса;\n  - обнаружение ошибки;\n  - объяснение ограничений.\n\nФорму представления можно изучать отдельно.\n\n## **Критический дефект 11. Три графовых формата предназначены для разных объектов**\n\n### **Time-line**\n\nУместен, когда существенна временная последовательность.\n\n### **Centric map**\n\nУместна для структуры вокруг центрального понятия.\n\n### **Knowledge graph**\n\nУместен для типизированных сущностей и отношений.\n\nТребование использовать все три формата для любого текста может производить искусственные представления.\n\nСильный образовательный результат:\n\nстудент сам выбирает форму представления и обосновывает, почему она соответствует устройству объекта.\n\nТогда выбор графа становится частью анализа.\n\n## **Критический дефект 12. «Извлечение методологии» и «семантический анализ» не разведены**\n\nМетодология исследования — один слой научного текста.\n\nСемантический анализ может включать:\n\n  - темы;\n  - концепты;\n  - аргументы;\n  - отношения;\n  - метафоры;\n  - модальности;\n  - тональность;\n  - интертекст;\n  - временную структуру;\n  - актантную структуру.\n\nПроект начинает с извлечения методологии, но примеры включают:\n\n  - эволюцию обучения грамматике;\n  - тональность;\n  - биографию Хомского;\n  - речь Мартина Лютера Кинга;\n  - Сальери;\n  - поэзию;\n  - сонеты;\n  - Деррида.\n\nЭто допустимо для метакурса. Для эксперимента требуется один тип аналитического объекта.\n\n## **Критический дефект 13. Текст переноса не сопоставим с обучающими текстами**\n\nОсновные замеры проводятся на научных статьях по лингвистике.\n\nВ качестве отсроченного переноса предлагается стихотворение или аналогичный новый материал.\n\nЭто уже межжанровый перенос. Его результат зависит от:\n\n  - знания поэтического анализа;\n  - интерпретационных навыков;\n  - жанровой специфики;\n  - знания языка;\n  - культурного контекста;\n  - применимости исходной онтологии.\n\nДля проверки освоения метода нужен новый текст того же жанра и сопоставимой сложности.\n\nПеренос на поэзию можно оставить отдельным усиленным тестом.\n\n## **Критический дефект 14. В дизайн встроен сильный эффект порядка**\n\nУсловие описано как последовательность:\n\n1.  ручной анализ;\n2.  DeepSeek;\n3.  формальный пайплайн + DeepSeek.\n\nЕсли один и тот же студент анализирует один материал последовательно, поздние условия получают преимущество:\n\n  - текст уже прочитан;\n  - понятия уже найдены;\n  - ошибки уже замечены;\n  - аналитическая схема уже сформирована.\n\nНужно:\n\n  - распределять разные тексты по условиям;\n  - контрбалансировать порядок;\n  - использовать латинский квадрат;\n  - исключать повторное предъявление одного и того же текста до основной оценки.\n\n## **Критический дефект 15. В расписании не помещаются устные презентации**\n\nНа занятии выделено 25 минут на устные выступления.\n\nПри 15–20 студентах и длительности 5–7 минут потребуется:\n\n  - минимум 75 минут;\n  - максимум 140 минут.\n\nЗанятие уже длится 90 минут, из которых первые 60 заняты анализом.\n\nНужно выбрать:\n\n  - выступления выборки студентов;\n  - работу малыми группами;\n  - параллельные защиты;\n  - короткие 60–90-секундные комментарии;\n  - запись асинхронного комментария;\n  - несколько занятий.\n\nПока методика не помещается в собственное расписание. Это хороший момент для хронометража, до ANOVA.\n\n## **Критический дефект 16. NASA-TLX не объясняет глубину обучения**\n\nNASA-TLX измеряет воспринимаемую нагрузку. Более низкая нагрузка может означать:\n\n  - удобство;\n  - автоматизацию;\n  - меньшие усилия;\n  - подмену действия;\n  - более понятный интерфейс;\n  - поверхностную работу.\n\nДля обучения снижение нагрузки не всегда положительно. Иногда продуктивное затруднение необходимо.\n\nНужно различать:\n\n  - внешнюю лишнюю нагрузку;\n  - сложность содержания;\n  - усилие, вложенное в построение модели;\n  - зависимость от ИИ.\n\nСистема, которая сделала всё сама, покажет прекрасный NASA-TLX. В учебном отчёте останется уточнить, кто обучался.\n\n## **Критический дефект 17. Значимость** **p \\< 0.05** **встроена в гипотезу**\n\nГипотеза должна описывать ожидаемый эффект, а не заранее назначать статистическую судьбу результата.\n\nНужно определить:\n\n  - primary outcome;\n  - минимально значимый эффект;\n  - единицу анализа;\n  - план мощности;\n  - способ учёта повторных измерений;\n  - поправку на множественные сравнения;\n  - кластерность учебных групп;\n  - размер эффекта и доверительные интервалы.\n\nПри выборке 30–40 человек, четырёх гипотезах, множестве показателей и нескольких условиях пространство случайных значимостей получится вполне обитаемым.\n\n## **Критический дефект 18. В документе уже приведены точные результаты будущего эксперимента**\n\nВ концепции есть таблица:\n\n  - контрольная группа — 6,2;\n  - экспериментальная — 8,9;\n  - полнота — 68% и 92%;\n  - p \\< 0.01;\n  - перенос — 6,0 и 8,2;\n  - другие точные значения.\n\nЕсли это:\n\n  - прогноз;\n  - демонстрационный макет;\n  - синтетический пример;\n\nэто нужно явно написать.\n\nВ текущем виде таблица выглядит как эмпирический результат исследования, которое далее описано как планируемое.\n\nТакой блок нельзя рассылать без маркировки. Внутренний документ может мечтать. Таблица результатов обязана предъявить, откуда у неё студенты.\n\n## **Критический дефект 19. В статье выводы существенно сильнее полученных данных**\n\nВ статье говорится, что применение LLM:\n\n  - минимизирует субъективность;\n  - помогает валидировать лингвистические модели;\n  - подтверждает положения Деррида, Остина и Сёрля;\n  - показывает верификационный потенциал LLM.\n\nНо описанная процедура состоит преимущественно из:\n\n  - запросов к моделям;\n  - полученных интерпретаций;\n  - построенных графов;\n  - экспертного комментария студентов и авторов.\n\nТакая процедура может показать:\n\n  - что модель способна воспроизвести определённую теоретическую интерпретацию;\n  - что теория продуктивна как промптовая рамка;\n  - что граф помогает представить один способ чтения;\n  - что разные модели дают разные результаты.\n\nОна не доказывает истинность философской или лингвистической теории.\n\nБолее точная формула:\n\nLLM может использоваться как инструмент генерации и сопоставления интерпретативных моделей, но результат требует независимой проверки и не является верификацией самой теории.\n\n## **Критический дефект 20. Заявление о снижении субъективности противоречит собственным данным**\n\nАвторы отмечают:\n\n  - множественность интерпретаций сохранилась;\n  - результаты зависят от модели;\n  - результаты зависят от промпта;\n  - результаты зависят от компетентности студента;\n  - результаты зависят от аналитических предпочтений.\n\nЭто означает, что субъективность не исчезла. Она перераспределилась между:\n\n  - проектировщиком задания;\n  - автором промпта;\n  - моделью;\n  - разработчиком онтологии;\n  - студентом;\n  - экспертом.\n\nСильный вывод здесь другой:\n\nкомбинированный анализ позволяет сделать основания интерпретации более явными, сопоставимыми и проверяемыми.\n\nЭто важнее и честнее обещания объективности.\n\n## **Критический дефект 21. «Human-in-the-loop» описан недостаточно**\n\nФраза:\n\nкаждый вывод ИИ проверяется по тексту с цитатой\n\nне решает проблему полностью.\n\nЦитата может:\n\n  - быть реальной, но не поддерживать вывод;\n  - быть вырвана из контекста;\n  - подтверждать факт, но не связь;\n  - быть выбрана после готовой интерпретации;\n  - не подтверждать полноту анализа.\n\nНужно фиксировать:\n\n1.  машинный вывод;\n2.  тип вывода;\n3.  цитату;\n4.  интерпретацию связи;\n5.  уровень уверенности;\n6.  решение студента;\n7.  решение эксперта;\n8.  альтернативную трактовку.\n\nТогда human-in-the-loop начинает что-то решать. Пока человек присутствует рядом с петлёй и цитирует.\n\n## **Критический дефект 22. Универсальность заявлена без основания**\n\nФормула:\n\nметодика применима к текстам любой языковой природы и исторической глубины\n\nслишком сильна.\n\nРазличаются:\n\n  - языки;\n  - письменности;\n  - корпуса;\n  - орфография;\n  - жанры;\n  - исторические периоды;\n  - качество моделей;\n  - морфология;\n  - синтаксис;\n  - доступность парсеров;\n  - структура источников.\n\nДля первого проекта следует ограничить область:\n\nсовременные научные статьи по лингвистике на русском и/или английском языке.\n\nРасширение на исторические, поэтические и юридические тексты становится отдельным этапом.\n\n## **Критический дефект 23. Текущая архитектура зависит от внешних сервисов и их дрейфа**\n\nИспользуются публичные модели и сервисы.\n\nДля воспроизводимости нужно сохранять:\n\n  - название модели;\n  - точную версию;\n  - дату;\n  - системный и пользовательский промпт;\n  - параметры;\n  - полный ответ;\n  - повторные генерации;\n  - используемый источник;\n  - версию пайплайна;\n  - версию онтологии.\n\nИначе повторение через полгода даст другой граф, а в отчёте останется формулировка «DeepSeek показал».\n\n## **Критический дефект 24. Не учтены права на тексты и исследовательские данные**\n\nПри работе с научными статьями и внешними моделями нужно решить:\n\n  - можно ли загружать полный текст;\n  - можно ли использовать неопубликованные материалы;\n  - где сохраняются тексты и промпты;\n  - какие данные студентов публикуются;\n  - как анонимизируются устные комментарии;\n  - кому принадлежит итоговый граф;\n  - можно ли открыть репозиторий с исходными материалами.\n\nДля опубликованных статей это управляемо. Для рукописи коллеги формула «открытая цифровая кафедра» может потребовать сначала закрыть вкладку.\n\n# **5. Главная смысловая пересборка**\n\nСейчас проект местами построен так:\n\nLLM применяет лингвистическую теорию к тексту → полученный граф подтверждает теорию → студент комментирует граф.\n\nБолее сильная модель:\n\nстудент задаёт формальную аналитическую рамку → несколько инструментов строят конкурирующие модели текста → студент проверяет их по источнику → обнаруживает расхождения → строит собственную доказательную модель → защищает её и указывает ограничения.\n\nЗдесь студент работает не как потребитель анализа, а как исследователь.\n\n## **Новый образовательный результат**\n\nСтудент способен:\n\n1.  определить исследовательский вопрос;\n2.  выбрать схему анализа;\n3.  формализовать сущности и отношения;\n4.  получить результаты нескольких инструментов;\n5.  проверить их по исходному тексту;\n6.  обнаружить пропуски и ложные связи;\n7.  собрать итоговую модель;\n8.  визуализировать её;\n9.  объяснить решения;\n10. описать ограничение каждого метода;\n11. повторить процедуру на новом тексте без ИИ.\n\nЭто сильный результат для магистратуры по прикладной лингвистике.\n\n# **6. Полная диагностическая матрица**\n\n## **1. Собственный интерес авторов**\n\n**Очень сильный.**\n\nЗа проектом стоят:\n\n  - публикации;\n  - реальная дисциплина;\n  - разработка программы;\n  - несколько наборов студентов;\n  - накопленные задания;\n  - корпус примеров;\n  - многолетняя интеллектуальная линия.\n\n### **Дефект**\n\nИстория проекта занимает почти половину основной презентации, но не превращена в данные:\n\n  - сколько студентов участвовало;\n  - какие задания выполняли;\n  - какие ошибки были типичны;\n  - как оценивались результаты;\n  - что изменилось у студентов;\n  - какие инструменты оказались устойчивыми.\n\n### **Следующий артефакт**\n\nРетроспективная таблица 2023–2026:\n\n|  |  |  |  |  |  |  |  |\n| :-: | :-: | :-: | :-: | :-: | :-: | :-: | :-: |\n| \\*\\*Год\\*\\* | \\*\\*Дисциплина\\*\\* | \\*\\*Участники\\*\\* | \\*\\*Задание\\*\\* | \\*\\*Инструмент\\*\\* | \\*\\*След\\*\\* | \\*\\*Результат\\*\\* | \\*\\*Обнаруженный дефект\\*\\* |\n\n## **2. Фрагмент образовательной практики**\n\nСейчас охвачены:\n\n  - целая магистратура;\n  - несколько дисциплин;\n  - разные жанры;\n  - разные методы;\n  - разные модели;\n  - разные графы.\n\n### **Для пилота**\n\nОдин модуль:\n\nанализ методологической структуры современной научной статьи по лингвистике.\n\n## **3. Исходное целеполагание**\n\nСмешаны:\n\n  - борьба с cheating;\n  - исследовательская компетентность;\n  - цифровая грамотность;\n  - освоение лингвистических теорий;\n  - построение графов;\n  - верификация моделей;\n  - конкурентоспособность выпускников.\n\n### **Центральная цель**\n\nсформировать способность проводить доказательный комбинированный анализ научного текста и отвечать за итоговую интерпретацию.\n\n## **4. Образовательный результат**\n\n### **Рабочая формула**\n\nСтудент на новом тексте:\n\n  - формализует объект;\n  - строит две машинные и одну собственную аналитическую версии;\n  - проверяет связи цитатами;\n  - классифицирует расхождения;\n  - создаёт итоговую модель;\n  - устно защищает её;\n  - указывает ограничения инструментов.\n\n## **5. Деятельность студента**\n\nСильная деятельность уже намечена:\n\n  - ручной анализ;\n  - промптирование;\n  - получение графов;\n  - сравнение;\n  - устный комментарий;\n  - ротация ролей.\n\n### **Не хватает**\n\n  - формулирования собственной онтологии;\n  - фиксации первой версии до подсказок;\n  - классификации ошибок;\n  - журналирования решений;\n  - обязательного изменения машинного результата;\n  - самостоятельного переноса.\n\n## **6. Проблематика**\n\nПроблема имеет два уровня.\n\n### **Образовательный**\n\nСтудент делегирует машине производство итогового текста.\n\n### **Профессиональный**\n\nЛингвистические теории и цифровые инструменты существуют раздельно.\n\nОба уровня сильные, но их нужно связать:\n\nсмена продукта с текста на проверяемую исследовательскую процедуру одновременно снижает ценность простого делегирования и формирует цифровую исследовательскую компетентность.\n\n## **7. Доказательство проблемы**\n\nЕсть:\n\n  - преподавательский опыт;\n  - студенческие работы;\n  - публикации;\n  - примеры графов.\n\nНе хватает систематизации:\n\n  - частота делегирования;\n  - качество машинных результатов;\n  - типичные галлюцинации;\n  - способность студентов проверить ответ;\n  - изменение после ротации ролей;\n  - результаты самостоятельного переноса.\n\n## **8. Концептуализация**\n\n### **Сильные элементы**\n\n  - Augmented Research;\n  - Human-in-the-loop;\n  - формализация;\n  - трёхстороннее сравнение;\n  - граф как исследовательский артефакт;\n  - Research-Based Learning.\n\n### **Дефекты**\n\n  - Human + AI пока трактуется слишком гармонично;\n  - формализация смешивается с объективностью;\n  - визуализация смешивается с пониманием;\n  - LLM-репрезентация смешивается с внутренним механизмом;\n  - лингвистическая теория смешивается с промптовым шаблоном.\n\n## **9. Операционализация**\n\nНужно определить единый объект оценки.\n\n### **Качество итоговой аналитической модели**\n\n  - точность сущностей;\n  - точность отношений;\n  - полнота;\n  - релевантность;\n  - доказательная привязка;\n  - отсутствие ложных связей;\n  - качество типизации;\n  - объяснение;\n  - ограничения.\n\n### **Исследовательская компетентность**\n\n  - выбор метода;\n  - формализация;\n  - критика инструмента;\n  - сравнение;\n  - редактирование;\n  - защита;\n  - перенос.\n\n### **Калибровка**\n\n  - уверенность студента;\n  - реальное качество;\n  - способность обнаруживать ошибки.\n\n### **Процесс**\n\n  - время;\n  - количество итераций;\n  - принятые и отклонённые выводы;\n  - число обращений к исходному тексту.\n\n## **10. Образовательная гипотеза**\n\nСтруктурированный комбинированный анализ, в котором студент создаёт собственную первую версию, сравнивает её с независимыми машинными моделями, проверяет все связи по источнику и защищает итоговый результат, повысит качество самостоятельного анализа нового научного текста по сравнению с выполнением того же задания без машинных вариантов.\n\n## **11. ИИ-гипотеза**\n\nLLM может ускорять порождение кандидатных сущностей, отношений и интерпретаций, но его образовательная ценность возникает только при обязательной верификации, сопоставлении с независимым методом и фиксации решений студента.\n\n## **12. Сценарий до/после**\n\n### **До**\n\n  - студент получает текст;\n  - пишет конспект или курсовую;\n  - может делегировать итог модели;\n  - преподаватель оценивает продукт;\n  - процесс исследования невидим.\n\n### **После**\n\n  - студент получает текст и схему задачи;\n  - фиксирует собственную версию;\n  - получает формальную машинную разметку;\n  - получает LLM-версию;\n  - сравнивает;\n  - классифицирует расхождения;\n  - возвращается к источнику;\n  - строит итоговый граф;\n  - защищает;\n  - переносит метод на новый текст.\n\n## **13. Распределение функций**\n\n### **Студент**\n\n  - задаёт объект;\n  - выбирает метод;\n  - формализует;\n  - проверяет;\n  - интерпретирует;\n  - принимает решение;\n  - отвечает.\n\n### **LLM**\n\n  - предлагает сущности;\n  - предлагает связи;\n  - генерирует альтернативные интерпретации;\n  - объясняет;\n  - визуализирует черновик.\n\n### **Формальный пайплайн**\n\n  - выполняет воспроизводимую ограниченную разметку;\n  - показывает результат конкретного алгоритма;\n  - не интерпретирует сверх онтологии.\n\n### **Преподаватель**\n\n  - задаёт рубрику;\n  - утверждает корпус;\n  - калибрует;\n  - проводит экспертный разбор;\n  - оценивает перенос.\n\n### **Экспертная группа**\n\n  - создаёт gold standard;\n  - согласует спорные случаи;\n  - оценивает инструменты.\n\n## **14. Дизайн эксперимента**\n\n### **Текущий дизайн требует пересборки**\n\nОптимальный вариант — **внутрисубъектный контрбалансированный дизайн**.\n\nУ каждого студента четыре сопоставимых текста и четыре условия:\n\n1.  структурированный ручной анализ;\n2.  LLM;\n3.  формальный пайплайн;\n4.  комбинированный workflow.\n\nНо:\n\n  - порядок условий распределён;\n  - каждому условию соответствует отдельный текст;\n  - тексты выровнены;\n  - студент не видит gold standard до сдачи;\n  - все условия используют одну онтологию и одну форму результата;\n  - итоговый текст выполняется без инструментов;\n  - оценивание слепое.\n\nПри 30–40 студентах это существенно сильнее двух постоянных групп.\n\n### **Альтернатива**\n\nРотация ролей в тройках:\n\n  - аналитик;\n  - оператор цифрового инструмента;\n  - эксперт-верификатор.\n\nНа следующем занятии роли меняются. Это сильная образовательная модель, но уже другой дизайн: исследование распределённого группового действия.\n\n## **15. Следы и evidence**\n\nНужно сохранять:\n\n  - текст и версию;\n  - онтологию;\n  - первое решение студента;\n  - промпт;\n  - модель и версию;\n  - полный ответ;\n  - формальный результат;\n  - граф;\n  - исправления;\n  - цитаты;\n  - классификацию ошибок;\n  - принятые и отклонённые связи;\n  - устный комментарий;\n  - экспертную оценку;\n  - уверенность;\n  - итоговый перенос.\n\nГлавный след:\n\nистория превращения машинного черновика в ответственную аналитическую модель.\n\n## **16. Риски подмены**\n\n### **Граф подменяет анализ**\n\nСтруктура выглядит сложной, содержание не проверено.\n\n### **Формат Mermaid подменяет семантику**\n\nСтудент исправляет код рендера и считает это цифровой семантикой.\n\n### **LLM подменяет внутренние механизмы описанием**\n\nМодель рассказывает, как «работало внимание».\n\n### **Пайплайн подменяет gold standard**\n\nМашинная разметка становится правильной по должности.\n\n### **Цитата подменяет доказательство**\n\nСвязь с текстом есть, логическое основание отсутствует.\n\n### **Эксперт подменяет студента**\n\nНа защите преподаватель достраивает смысл за автора.\n\n### **Ротация ролей становится формальной**\n\n«Цифровик» нажал кнопку, «аналог» написал конспект, эксперт сказал «интересно».\n\n## **17. Пользовательский сценарий**\n\nНужен один полный сценарий:\n\n1.  студент получает текст;\n2.  формулирует исследовательский вопрос;\n3.  выбирает или строит онтологию;\n4.  создаёт первую ручную модель;\n5.  фиксирует уверенность;\n6.  запускает формальный анализ;\n7.  запускает LLM;\n8.  видит расхождения;\n9.  проверяет каждое по тексту;\n10. классифицирует ошибку;\n11. редактирует модель;\n12. выбирает визуальный формат;\n13. защищает;\n14. получает экспертную обратную связь;\n15. повторяет на новом тексте без инструментов.\n\n## **18. Реализуемость**\n\n### **Реализуемо без большой разработки**\n\n  - корпус из 4–6 статей;\n  - фиксированная онтология;\n  - банк промптов;\n  - LLM;\n  - простой Python-пайплайн;\n  - Mermaid;\n  - шаблон сравнения;\n  - рубрика;\n  - журнал в таблице;\n  - устная защита.\n\n### **Требует серьёзной разработки**\n\n  - fine-tuned BERT;\n  - универсальная межъязыковая система;\n  - автоматическая оценка глубины;\n  - открытая платформа;\n  - learner analytics;\n  - поддержка любых жанров;\n  - стабильная генерация сложных графов.\n\nПервый пилот может быть проведён без собственной платформы.\n\n## **19. Граница пилота**\n\n  - одна дисциплина;\n  - один тип текста;\n  - одна задача: извлечь методологическую структуру;\n  - одна онтология;\n  - четыре статьи;\n  - 20–30 студентов;\n  - ручной, LLM и формальный способы;\n  - контрбалансировка;\n  - итоговый новый текст;\n  - ручная экспертная оценка;\n  - без fine-tuning;\n  - без заявления об универсальности;\n  - без верификации философских теорий;\n  - без сравнения поэзии с научной статьёй.\n\n## **20. Следующий ход**\n\nНужно создать **не ещё одну презентацию**, а набор предметных спецификаций:\n\n1.  определение результата;\n2.  онтология методологии;\n3.  инструкция разметки;\n4.  gold standard;\n5.  единая форма результата;\n6.  дизайн условий;\n7.  протокол следов;\n8.  рубрика;\n9.  правила устной защиты;\n10. критерии переноса.\n\n# **7. Пять отдельных исследований внутри проекта**\n\n## **Исследование А. Валидность формального пайплайна**\n\n### **Вопрос**\n\nНасколько формальный экстрактор воспроизводит экспертную разметку методологических компонентов?\n\n### **Метрики**\n\n  - precision;\n  - recall;\n  - F1;\n  - точность отношений;\n  - ошибки по типам;\n  - межэкспертное согласие.\n\nСтуденты здесь не нужны.\n\n## **Исследование B. Валидность LLM-разметки**\n\n### **Вопрос**\n\nНасколько результаты LLM зависят от:\n\n  - модели;\n  - промпта;\n  - повторного запуска;\n  - жанра;\n  - онтологии?\n\nЭто техническое исследование воспроизводимости.\n\n## **Исследование C. Добавленная ценность комбинированного workflow**\n\n### **Вопрос**\n\nДаёт ли Human + AI лучший итоговый продукт по сравнению со структурированным ручным анализом?\n\nЗдесь нужны равные:\n\n  - задания;\n  - онтологии;\n  - время;\n  - формы результата.\n\n## **Исследование D. Образовательный перенос**\n\n### **Вопрос**\n\nМожет ли студент после комбинированной практики самостоятельно анализировать новый научный текст без ИИ?\n\nЭто главный образовательный эксперимент.\n\n## **Исследование E. Эффект визуального представления**\n\n### **Вопрос**\n\nКак форма представления влияет на:\n\n  - понимание;\n  - запоминание;\n  - обнаружение связей;\n  - устную защиту?\n\nKnowledge graph нужно сравнивать не с бедным конспектом, а с содержательно эквивалентной таблицей или структурированной схемой.\n\n# **8. Архитектурная пересборка**\n\n## **Паттерн**\n\n**Augmented Research Studio + Competing Analysis Pipelines + Evidence/Provenance Layer + Human Adjudication.**\n\n## **Компоненты**\n\n### **1. Corpus Manager**\n\n  - тексты;\n  - жанры;\n  - лицензии;\n  - версии;\n  - сложность.\n\n### **2. Analytical Schema / Ontology**\n\n  - типы сущностей;\n  - типы отношений;\n  - определения;\n  - примеры;\n  - исключения.\n\n### **3. Manual Workspace**\n\nСтудент строит исходную модель до машинной помощи.\n\n### **4. Formal Extraction Pipeline**\n\n  - preprocessing;\n  - extraction;\n  - relation detection;\n  - reproducible output.\n\n### **5. LLM Analysis Layer**\n\n  - кандидатные элементы;\n  - альтернативные связи;\n  - объяснения;\n  - уровень уверенности;\n  - обязательные цитаты.\n\n### **6. Graph Builder**\n\nОтделяет семантическую модель от технического рендера Mermaid.\n\n### **7. Comparison Workspace**\n\nПоказывает:\n\n  - совпадения;\n  - расхождения;\n  - пропуски;\n  - дополнительные связи.\n\n### **8. Evidence and Provenance Layer**\n\nДля каждого элемента:\n\n  - источник;\n  - цитата;\n  - инструмент;\n  - автор решения;\n  - версия;\n  - статус проверки.\n\n### **9. Student Decision Log**\n\n  - принято;\n  - отклонено;\n  - изменено;\n  - почему.\n\n### **10. Expert Adjudication**\n\nЭксперты разрешают спорные случаи и обновляют gold standard.\n\n### **11. Assessment Layer**\n\n  - продукт;\n  - процесс;\n  - устная защита;\n  - перенос.\n\n### **12. Research Repository**\n\nПромпты, код, схемы и анонимизированные данные.\n\n# **9. Суждение по модели Ульяны**\n\n## **Что собрано**\n\n  - реальная образовательная проблема;\n  - долгий авторский интерес;\n  - апробированные задания;\n  - изменение формы результата;\n  - деятельность студентов;\n  - накопленные артефакты;\n  - идея переноса;\n  - измерения и квазиэксперимент.\n\n## **Главный педагогический разрыв**\n\nВ проекте пока не различены:\n\n  - успешное использование инструмента;\n  - качество итогового графа;\n  - сформированная исследовательская способность студента.\n\nГлавным доказательством должен стать самостоятельный анализ нового текста без ИИ.\n\n## **Главный вопрос Ульяны**\n\nЧто студент после курса сможет самостоятельно сделать с новым научным текстом, чего он не мог сделать до курса, и какой артефакт это докажет?\n\n## **Обязательная рекомендация**\n\nПоставить в центр способность:\n\nпостроить, проверить и защитить методологическую модель научного текста.\n\nГраф, LLM и формальный пайплайн сделать средствами её формирования.\n\n## **Вердикт Ульяны**\n\nПроект обладает сильной предметной и преподавательской основой. Для превращения его в образовательный эксперимент требуется сузить объект, определить единый результат и перестроить контроль так, чтобы измерялось самостоятельное исследовательское действие, а не качество продукта, созданного при показанном заранее машинном ориентире.\n\n# **10. Суждение по модели Тимура**\n\n## **Что собрано**\n\nПроект уже выходит к настоящей гибридной исследовательской архитектуре:\n\n  - разные носители;\n  - разные способы анализа;\n  - конкурирующие модели;\n  - экспертная проверка;\n  - визуализация;\n  - ротация ролей;\n  - доказательный след.\n\nЭто существенно сильнее «бота по материалам курса».\n\n## **Главный архитектурный разрыв**\n\nИнструменты пока описаны через интерфейсные названия, а машинные ответы — как работа внутренних механизмов.\n\nНужно различить:\n\n  - реальную вычислительную процедуру;\n  - текстовую симуляцию процедуры;\n  - аналитический артефакт;\n  - человеческую интерпретацию;\n  - институционально признанный вывод.\n\n## **Главный вопрос Тимура**\n\nГде именно производится каждый элемент итогового знания, кто его проверяет и кто отвечает за то, что связь на графе считается допустимой?\n\n## **Обязательная рекомендация**\n\nСделать provenance обязательной частью каждого узла и отношения:\n\n  - откуда взято;\n  - кем предложено;\n  - каким инструментом;\n  - кем подтверждено;\n  - на каком основании;\n  - с какой уверенностью.\n\n## **Вердикт Тимура**\n\nСильная версия проекта — не универсальная машина цифровой семантики, а исследовательская студия конкурирующих способов анализа с прозрачным происхождением решений. Первый технический объект — workspace сравнения ручной, формальной и LLM-моделей текста, а не fine-tuned BERT, которому заранее выдали должность эталона.\n\n# **11. Простой канвас**\n\n|  |  |  |\n| :-: | :-: | :-: |\n| \\*\\*Поле\\*\\* | \\*\\*Состояние\\*\\* | \\*\\*Диагноз\\*\\* |\n| \\*\\*Проблема\\*\\* | Сильная, но многослойная | Cheating, навыковый дефицит и методологический разрыв соединены |\n| \\*\\*Гипотеза\\*\\* | Критически перегружена | Пять разных исследовательских гипотез |\n| \\*\\*Тип ИИ\\*\\* | Недоразличён | Смешаны LLM, NLP, механизмы трансформера и формы визуализации |\n| \\*\\*Масштаб\\*\\* | Сильно завышен | От одного учебного задания до универсальной семантики любых текстов |\n| \\*\\*Архитектурный паттерн\\*\\* | Очень перспективный | Augmented Research Studio |\n| \\*\\*Сценарий\\*\\* | Частично собран | Нужна первая версия студента до показа машинного результата |\n| \\*\\*Следы\\*\\* | Потенциально сильные | Provenance и decision log пока отсутствуют |\n| \\*\\*Риск подмены\\*\\* | Высокий | Граф, цитата и машинное объяснение могут подменить исследование |\n| \\*\\*Запрос лаборатории\\*\\* | Преждевременен для большой системы | Готов ручной пилот без платформы |\n\n# **12. Расширенный канвас**\n\n## **Большая модель**\n\nПроект может стать моделью **гибридной исследовательской подготовки**, где университет учит не пользоваться отдельным ИИ-сервисом, а строить воспроизводимый контур:\n\nисследовательский вопрос → формализация → несколько аналитических систем → проверка → спор → ответственная модель → публикация.\n\nЭто уже модель Research-Based Learning после появления LLM.\n\n## **Кейс-аналог**\n\nВ материалах внешние образовательные аналоги не представлены.\n\nНужны аналоги по:\n\n  - augmented research;\n  - human-AI collaborative annotation;\n  - NLP education;\n  - computational humanities;\n  - knowledge graph learning;\n  - AI-supported research methods;\n  - human adjudication in annotation pipelines.\n\n## **Переменные мониторинга**\n\n### **Образовательные**\n\n  - самостоятельный перенос;\n  - качество формализации;\n  - обнаружение ошибок;\n  - доказательность;\n  - устная защита;\n  - калибровка уверенности.\n\n### **Машинные**\n\n  - точность;\n  - полнота;\n  - воспроизводимость;\n  - чувствительность к промпту;\n  - межмодельное расхождение;\n  - стоимость;\n  - время.\n\n### **Гибридные**\n\n  - доля машинных выводов, принятых студентом;\n  - доля исправленных;\n  - качество исправлений;\n  - причины решений;\n  - добавленная ценность каждого слоя.\n\n### **Организационные**\n\n  - нагрузка преподавателя;\n  - создание gold standard;\n  - поддержка корпуса;\n  - версия онтологии;\n  - права на данные.\n\n## **Потенциал масштабирования**\n\nМасштабируются:\n\n  - формат комбинированного анализа;\n  - workspace сравнения;\n  - provenance;\n  - ротация ролей;\n  - рубрика;\n  - форма защиты;\n  - онтологическая спецификация.\n\nНе масштабируются автоматически:\n\n  - конкретные теории;\n  - онтологии разных жанров;\n  - языковые парсеры;\n  - gold standard;\n  - интерпретационные нормы.\n\n## **Место в портфеле**\n\n**ИИ-поддержанная исследовательская подготовка / цифровая гуманитаристика / гибридные аналитические лаборатории / process-based assessment.**\n\n## **Радикальная версия**\n\nУниверситетская исследовательская среда, где студенты и преподаватели:\n\n  - создают формальные схемы;\n  - запускают различные анализаторы;\n  - сравнивают результаты;\n  - спорят;\n  - сохраняют происхождение выводов;\n  - публикуют воспроизводимые исследовательские пакеты;\n  - накапливают библиотеку методов и ошибок.\n\n# **13. Послайдовая дефектовка основной презентации**\n\n## **Слайд 1**\n\nНазвание задаёт крупную рамку, но «межпредметный курс» и «цифровая семантика» ещё не определены.\n\n## **Слайды 2–7**\n\nИстория проблемы убедительна и живая. При этом причины уровня «коллективного подсознательного» плохо связаны с будущим экспериментом и не операционализируются.\n\nСильнейший ход — устаревшая форма результата как условие делегирования.\n\n## **Слайды 8–10**\n\nПоказывают реальную историю научной работы и курса. Для семинарского обсуждения их можно сжать до одной линии развития с артефактами и результатами.\n\n## **Слайд 11**\n\nФундаментальная гипотеза требует полной замены на проверяемую.\n\n## **Слайды 12–13**\n\n«Первые шаги» и публикация показывают зрелость линии, но публикация сама по себе не подтверждает гипотезу.\n\n## **Слайды 14–16**\n\nСвязь с магистерской программой сильная. Слайд 16 показывает реальное распределение: Alice создаёт черновик, экспертная модель проверяет. Нужно сохранить как иллюстрацию, но предъявить критерии экспертизы.\n\n## **Слайды 17–18**\n\nЦель и задачи курса сформулированы моделью и оставлены почти без критической переработки. Это странный демонстрационный выбор для курса, который учит проверять машинные ответы.\n\n## **Слайды 19–23**\n\nПримеры графов полезны и показывают разнообразие материала. Одновременно видно, что графовые формы используются для разных объектов без общей онтологии.\n\n## **Слайд 24**\n\nОбязательный устный комментарий — один из лучших элементов проекта.\n\n## **Слайд 25**\n\nSemantic annotation заявлена, но процедура, единица и результат не описаны.\n\n## **Слайд 26**\n\nРоли «цифровики — аналоги — эксперты» являются очень сильной архитектурой. Их следует сделать центральными, а не промежуточным слайдом.\n\n## **Слайд 27**\n\nПовторяемый эксперимент с ротацией ролей значительно перспективнее постоянного деления на ЭГ и КГ. Нужно доработать единый протокол и форму результата.\n\n## **Слайд 28**\n\nВозвращает проект к исходной эмоциональной проблеме. Функцию финала выполняет.\n\n# **14. Дефектовка дополнительной презентации**\n\n## **Слайд 1**\n\nРабочее название стало точнее: NLP-инструменты в анализе научной литературы. Это уже хороший объект, но внутри снова появляются поэзия и другие жанры.\n\n## **Слайд 2**\n\nПять проблем выглядят убедительно. Самая слабая — утверждение об отсутствии универсальной методики: возможно, универсальность сама является ложной целью.\n\n## **Слайд 3**\n\nЦель объединяет методику, эмпирическое доказательство и компетенции. Лучше разделить продуктовый и образовательный результаты.\n\n## **Слайд 4**\n\nТри блока задач собраны хорошо. Fine-tuned BERT пока записан как почти готовый компонент, хотя именно он потребует корпуса, разметки и отдельного исследования.\n\n## **Слайд 5**\n\nРаспределение функций полезное, но слишком аккуратное:\n\n  - ИИ тоже интерпретирует;\n  - человек тоже извлекает и структурирует;\n  - ошибки могут не быть замечены человеком;\n  - стратегический и тактический уровни взаимопроникают.\n\nHuman-in-the-loop нужно превратить из принципа в процедуру решения.\n\n## **Слайд 6**\n\nТеоретическая рамка богата. В ней смешаны предметные теории, инструменты и педагогические основания. Требуется связка «теория → механизм → действие → метрика».\n\n## **Слайд 7**\n\nЧетыре гипотезы — четыре отдельных исследования. p \\< 0.05 надо убрать из формулировки.\n\n## **Слайд 8**\n\nСхема эксперимента выглядит содержательно, но порядок условий создаёт утечку и эффект обучения. Визуально схема плотнее методической логики.\n\n## **Слайд 9**\n\nМетрики полезны. «Точность относительно пайплайна» надо заменить сравнением с человеческим gold standard. Глубина и структурированность требуют рубрик и межэкспертного согласия.\n\n## **Слайд 10**\n\nОжидаемые продукты перечислены разумно. Научные, образовательные, социальные и практические результаты не должны все становиться критериями успеха первого пилота.\n\n# **15. Дефектовка концепции DOCX**\n\nДокумент полезен как рабочая спецификация, но содержит несколько опасных мест.\n\n## **Сильные элементы**\n\n  - ясная структура;\n  - выделение гипотез;\n  - описание условий;\n  - метрики;\n  - риски;\n  - перенос;\n  - открытость данных;\n  - портфельный потенциал.\n\n## **Критические места**\n\n### **Пустые разделы**\n\nВ тексте отсутствует содержательное наполнение:\n\n  - ожидаемых количественных результатов;\n  - части рисков.\n\nПри этом ниже появляются готовые численные результаты.\n\n### **Предзаполненная таблица результатов**\n\nТочные средние и p-values нельзя оставлять без маркировки «гипотетический пример».\n\n### **Несогласованность условий**\n\nВ таблице КГ и ЭГ обе сначала выполняют ручной анализ, но основной текст описывает разные условия и внутригрупповые сравнения. Требуется единая схема.\n\n### **Пайплайн как эталон**\n\nВ одном месте он ориентир, в другом — эталон, в третьем — самостоятельный объект проверки.\n\n### **Открытый репозиторий**\n\nНужны правила лицензирования текстов и студенческих данных.\n\n# **16. Дефектовка статьи**\n\nСтатья важна как свидетельство предшествующей апробации, но для следующего этапа её выводы следует читать осторожно.\n\n## **Что статья реально показывает**\n\n  - студенты работали с разными моделями;\n  - использовали промпты с названиями методов;\n  - получали различные представления;\n  - строили графы;\n  - сравнивали результаты;\n  - сохраняли множественность интерпретаций;\n  - модели имели разные стилистические и формальные особенности;\n  - экспертное комментирование было необходимо.\n\n## **Чего статья не показывает**\n\n  - доступ к реальным механизмам внимания моделей;\n  - валидацию философских теорий;\n  - снижение субъективности;\n  - сравнительную точность моделей;\n  - образовательный эффект;\n  - воспроизводимость;\n  - статистически подтверждённое преимущество DeepSeek;\n  - соответствие цепочки рассуждения внутреннему процессу модели.\n\n## **Особо важное противоречие**\n\nСтатья одновременно утверждает:\n\n  - минимизацию субъективности;\n  - сохранение множественности интерпретаций;\n  - зависимость результата от модели, промпта и студента.\n\nВ новой версии проекта это нужно превратить в исследовательский результат:\n\nне устранение субъективности, а её экспликация и распределение между участниками гибридного анализа.\n\n# **17. Рекомендуемый первый эксперимент**\n\n## **Рабочее название**\n\n**«Комбинированное извлечение методологической структуры научной статьи: ручной анализ, LLM и формальный пайплайн»**\n\n## **Главный исследовательский вопрос**\n\nПовышает ли структурированное сопоставление ручной, LLM- и формальной аналитических моделей способность магистранта самостоятельно строить и защищать методологическую модель нового научного текста?\n\n## **Материал**\n\n  - пять современных научных статей по лингвистике;\n  - один язык;\n  - один жанр;\n  - сопоставимая сложность;\n  - единая онтология.\n\n## **Участники**\n\n20–30 магистрантов.\n\n## **Условия**\n\nКонтрбалансированный дизайн:\n\n1.  структурированный ручной анализ;\n2.  LLM-анализ;\n3.  формальный анализ;\n4.  комбинированный анализ.\n\nКаждый текст используется только в одном условии для конкретного студента.\n\n## **Итоговый перенос**\n\nНовый текст того же жанра:\n\n  - без ИИ;\n  - без эталона;\n  - по той же онтологии;\n  - с устной защитой.\n\n## **Главная метрика**\n\nКачество самостоятельной методологической модели нового текста.\n\n## **Вторичные метрики**\n\n  - обнаружение ошибок;\n  - доказательная привязка;\n  - время;\n  - калибровка уверенности;\n  - когнитивная нагрузка;\n  - качество устной защиты;\n  - способность назвать ограничения.\n\n# **18. Первый инженерный прототип**\n\nБольшая собственная платформа пока не нужна.\n\nНужен вертикальный прототип:\n\n1.  загрузка статьи;\n2.  ручная первая версия студента;\n3.  LLM-версия по фиксированному промпту;\n4.  результат простого формального пайплайна;\n5.  экран сравнения;\n6.  таблица расхождений;\n7.  поле решения студента;\n8.  итоговый граф;\n9.  привязка связей к цитатам;\n10. экспорт исследовательского пакета.\n\nМожно собрать на существующих инструментах:\n\n  - Python;\n  - spaCy;\n  - доступная модель;\n  - Mermaid;\n  - таблица или простое веб-приложение;\n  - ручная экспертная проверка.\n\nFine-tuning нужен после того, как появятся:\n\n  - онтология;\n  - корпус;\n  - gold standard;\n  - baseline;\n  - понятный выигрыш.\n\n# **19. Следующий пакет артефактов**\n\n## **По модели Ульяны**\n\n1.  Один образовательный результат.\n2.  Описание самостоятельного действия на новом тексте.\n3.  Рубрика исследовательской компетентности.\n4.  Активный контроль.\n5.  Сопоставимый текст переноса.\n6.  Условие опровержения гипотезы.\n7.  Реалистичный хронометраж занятия.\n\n## **По модели Тимура**\n\n1.  Онтология методологии исследования.\n2.  Компонентная архитектура.\n3.  Разделение реального NLP и LLM-симуляций.\n4.  Gold standard.\n5.  Provenance каждого вывода.\n6.  Decision log студента.\n7.  Модель версий.\n8.  План контрбалансировки.\n9.  Критерии приёмки пайплайна.\n10. Data governance.\n\n## **Главный общий артефакт**\n\n**Одна полностью размеченная научная статья, для которой существуют: экспертный gold standard, ручная студенческая версия, LLM-версия, формальная версия, таблица расхождений и итоговый граф с доказательным следом.**\n\nЭто даст проекту больше, чем ещё пятьдесят примеров красивых графов. Красивых графов уже достаточно. Теперь каждому ребру нужен паспорт.\n\n# **20. Внутренний статус**\n\n|  |  |\n| :-: | :-: |\n| \\*\\*Контур\\*\\* | \\*\\*Статус\\*\\* |\n| Практическая актуальность | \\*\\*Очень высокая\\*\\* |\n| Авторская и предметная укоренённость | \\*\\*Очень сильная\\*\\* |\n| Предшествующая апробация | \\*\\*Есть, плохо формализована\\*\\* |\n| Проблематика | \\*\\*Богатая, перегруженная\\*\\* |\n| Образовательный результат | \\*\\*Не выделен окончательно\\*\\* |\n| Теоретическая рамка | \\*\\*Сильная, местами категориально смешанная\\*\\* |\n| Фундаментальная гипотеза | \\*\\*Непригодна в текущем виде\\*\\* |\n| Педагогическая гипотеза | \\*\\*Перспективна после сужения\\*\\* |\n| Техническая гипотеза | \\*\\*Требует gold standard и корпуса\\*\\* |\n| Тип ИИ | \\*\\*Смешаны инструменты, механизмы и представления\\*\\* |\n| Архитектурный паттерн | \\*\\*Очень сильный: Augmented Research Studio\\*\\* |\n| Дизайн эксперимента | \\*\\*Развит, но причинно дефектен\\*\\* |\n| Контрольное условие | \\*\\*Неравное\\*\\* |\n| Эффект порядка | \\*\\*Критический\\*\\* |\n| Пайплайн как эталон | \\*\\*Методологическая ошибка\\*\\* |\n| Графовая визуализация | \\*\\*Сильное средство, слабая метрика глубины\\*\\* |\n| Устный комментарий | \\*\\*Очень сильный элемент\\*\\* |\n| Ротация ролей | \\*\\*Один из лучших элементов проекта\\*\\* |\n| Следы и provenance | \\*\\*Требуют проектирования\\*\\* |\n| Данные будущих результатов | \\*\\*Нужно немедленно маркировать или удалить\\*\\* |\n| Готовность к ручному пилоту | \\*\\*Очень высокая\\*\\* |\n| Готовность к собственной платформе | \\*\\*Средняя / преждевременная\\*\\* |\n| Потенциал масштабирования | \\*\\*Очень высокий\\*\\* |\n\n# **21. Главный внутренний вывод**\n\nВ проекте уже находится сильная модель образования: студент перестаёт сдавать итоговый текст и начинает предъявлять проверяемую процедуру производства знания. Главный ход — сохранить эту модель и убрать из неё необоснованные переходы от промпта к внутренней архитектуре модели, от графа к глубине понимания, от пайплайна к истине и от машинной интерпретации к верификации лингвистической теории. «Цифровая семантика» может стать сильной исследовательской студией Human + AI, если центральным результатом станет способность студента строить, сравнивать, проверять и защищать аналитические модели с прозрачным происхождением каждого вывода.","chars":57911}