LLM run #17
section_filler
· model: search
· target: case:vnu-hanoi-ai-tutor
· section: metrics_evidence
· 6.2s
· ok
📥 input
{"case_summary": {"id": "vnu-hanoi-ai-tutor", "name": "VNU Hanoi · AI Tutor (Z.ai math reasoning)", "organization": {"name": "Vietnam National University, Hanoi", "country": "VN", "type": "U"}, "ai": {"pattern": "C", "agentivity": 3, "technologies": ["z.ai"]}, "facets": {"orchestration": "MOD", "pedagogy": "AMP", "control": "HUMAN", "economy": "EXT"}, "transformation_mode": "rectoral-initiative", "lifecycle": {"stage": "pilot", "first_seen": "wave-csv-2026-06", "history": [{"wave": "wave-csv-2026-06", "stage": "pilot", "note": "из CSV: stage=pilot"}]}}, "section": "metrics_evidence"}
📤 output
{"section_id": "metrics_evidence", "text": "По открытым материалам по пилоту VNU–Z.ai зафиксированы **субъективные и продуктовые метрики**, но не подтверждены независимые измерения учебного эффекта. В сообщении VNU указано, что по обратной связи, собранной в 2026-03, средняя оценка системы составила **8.7/10**, а **87%** пользователей поставили от 7 до 9; отдельно отмечены оценки **8.36** за понимание содержания и **8.6** за понимание намерения пользователя.[1]\n\nКакое именно влияние на успеваемость, скорость решения задач, качество рассуждений или перенос навыка на самостоятельную работу было достигнуто, в открытых источниках не подтверждено. Публичное описание проекта фиксирует, что на этапе PoC пользователи особенно высоко оценили **step-by-step guidance**, то есть педагогическую форму взаимодействия, но это остается метрикой восприятия, а не доказательством learning gain.[1]\n\nИз этого следует, что база доказательств пока выглядит как **early-stage PoC evidence**: опрос удовлетворенности, частные оценки качества взаимодействия и намерения по доработке стабильности, скорости и мультимодальности. Для закрытия секции нужны данные о дизайне оценки, контрольной группе, пред-/пост-тестах, логах использования, удержании и сравнении с альтернативами, а также публикация методики сбора обратной связи.[1]", "confidence": "high", "sources": [{"url": "https://en.vnu.edu.vn/-post36837.html", "title": "VNU & Z.ai: Launch of AI Tutor Application (PoC)", "what_supports": "Средняя оценка 8.7/10, 87% оценок 7–9, оценки 8.36 и 8.6, а также акцент на step-by-step guidance и статус PoC."}], "open_gaps": ["Не подтверждены пред-/пост-тесты, learning gains и влияние на экзаменационные результаты.", "Не подтверждено наличие контрольной группы, рандомизации или иной сравнительной методики.", "Не раскрыты размер выборки, профиль пользователей и методика сбора отзывов за 2026-03.", "Не подтверждены эксплуатационные метрики: удержание, частота использования, завершение задач, скорость ответа и ошибки.", "Не подтверждена публикация независимой валидации или внешнего аудита результатов PoC."]}
🔗 citations
["https://docs.lib.purdue.edu/cgi/viewcontent.cgi?article=2175&context=cib-conferences", "https://en.vnu.edu.vn/-post36837.html", "https://hamsabastani.github.io/education_llm.pdf", "https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4895486", "https://pmc.ncbi.nlm.nih.gov/articles/PMC12179260/", "https://scale.stanford.edu/publications/ai-tutoring-outperforms-active-learning", "https://wjarr.com/node/12132", "https://www.youtube.com/watch?v=zSAGzfspuDE"]