LLM run #35
section_filler
· model: search
· target: case:acu-turnitin-discontinued
· section: metrics_evidence
· 14.5s
· ok
📥 input
{"case_summary": {"id": "acu-turnitin-discontinued", "name": "Australian Catholic · Turnitin AI Detection (discontinued after 6k false flags)", "organization": {"name": "Australian Catholic University", "country": "AU", "type": "U"}, "ai": {"pattern": "D", "agentivity": 2, "technologies": ["turnitin"]}, "facets": {"orchestration": "LIN", "pedagogy": "INST", "control": "HUMAN", "economy": "EXT"}, "transformation_mode": "rectoral-initiative", "lifecycle": {"stage": "rolled-back", "first_seen": "wave-csv-2026-06", "history": [{"wave": "wave-csv-2026-06", "stage": "rolled-back", "note": "из CSV: stage=discontinued — counter-signal candidate"}]}}, "section": "metrics_evidence"}
📤 output
{"section_id": "metrics_evidence", "text": "Ключевая метрика в кейсе Australian Catholic University — объём и структура дел по академической нечестности, инициированных на основании отчётов Turnitin AI Detection в 2024 году. По внутренним документам, на которые ссылается ABC, университет зарегистрировал почти 6 000 дел об академическом проступке, примерно 90 % из которых были связаны с подозрением на использование ИИ, в основном опираясь на показатели AI‑детектора Turnitin.[1][2][3]\n\nЭмпирическая проверка показала высокий уровень ошибок: около четверти всех этих дел были впоследствии отклонены после расследования, что указывает на значимую долю ложноположительных срабатываний и слабую доказательную силу самой метрики «AI‑score» как основания для санкций.[2][3] Внешние обзоры кейса интерпретируют это как пример того, что использование числовых оценок ИИ‑детектора без дополнительных доказательств приводит к цифровой «охоте на ведьм» и систематическому флаггингу оригинальных работ студентов.[2][3]\n\nСторона разработчика инструмента дополнительно ограничивает его доказательную ценность: в публичной политике Turnitin подчёркивает, что отчёты AI‑детекции *«may not always be accurate»* и не должны использоваться как единственное доказательство при дисциплинарных решениях.[3] Тем не менее, по переписке, на которую ссылается ABC, в ряде случаев отчёт AI‑детектора использовался как основной или единственный триггер для запуска процессов по академическому нарушению, что фактически превращало техническую метрику в регуляторный индикатор без адекватной валидации.[1][3]\n\nОтдельные внутренние материалы ACU (например, чек‑лист Turnitin AI для сотрудников) задают процедурные шаги проверки подозрительных работ, однако они описывают именно процессуальные, а не количественные метрики: необходимость дополнительного анализа текста, сопоставление с историей успеваемости студента, проверка стиля письма и т.п., без опубликованных пороговых значений или показателей чувствительности/специфичности детектора.[4] Публично доступные источники не фиксируют, чтобы в ACU систематически измерялись качества модели (accuracy, false positive rate, false negative rate) или проводилась формальная ретроспективная оценка вреда для студентов в числах (например, доля неправомерно задержанных выпусков, отклонённых предложений о работе и т.д.), хотя отдельные медиа‑кейсы описывают такие последствия качественно.[1][3]\n\nФакт последующего отказа ACU от использования Turnitin AI Detection в 2025‑03 подаётся в источниках как управленческая реакция именно на неспособность инструмента обеспечить приемлемый уровень точности и надёжности, однако детальные метрики, лежавшие в основе этого решения (порог ошибки, внутренний аудит, сравнение с альтернативами), не раскрываются.[1][2][3] Таким образом, основная доступная доказательная база по кейсу — это агрегированная статистика количества дел и доли отклонённых обвинений, плюс признание разработчика о ограниченной надёжности детектора, но нет прозрачного набора технических или педагогических метрик, позволяющих полноценно оценить качество и эффекты архитектуры D в этом внедрении.\n", "confidence": "medium", "sources": [{"url": "https://www.abc.net.au/news/2025-10-09/artificial-intelligence-cheating-australian-catholic-university/105863524", "title": "University wrongly accuses students of using artificial intelligence to cheat", "what_supports": "Число ~6000 дел об академическом проступке в 2024 году, 90% связанных с ИИ; использование отчётов Turnitin AI как основания для обвинений; признание проблем с инструментом и последующий отказ от него."}, {"url": "https://failureindex.ai/failures/turnitin-ai-detector-falsely-flagged-thousands", "title": "Turnitin's AI detector falsely flagged thousands of students' original work", "what_supports": "Агрегированная статистика: почти 6000 дел, около 90% с ИИ-обвинениями; около четверти дел позже отклонены; фиксация отказа ACU от инструмента в 2025-03 из-за его неэффективности."}, {"url": "https://economictimes.com/magazines/panache/university-uses-ai-to-hunt-cheaters-but-ends-up-framing-innocent-students-instead-digital-witch-hunt-sparks-outrage/articleshow/124426910.cms", "title": "University uses AI to hunt cheaters, but ends up framing innocent students instead", "what_supports": "Описания того, что значительная часть обвинений основывалась на отчётах Turnitin AI; указание на предупреждение Turnitin о неточности отчётов и недопустимости использования их как единственного доказательства."}, {"url": "https://staff.acu.edu.au/our_university/centre-for-education-and-innovation/curriculum-design-and-quality-assurance/academic-integrity/academic-integrity-faqs", "title": "Academic Integrity FAQs - Staff - Australian Catholic University", "what_supports": "Нормативный контекст: статус несанкционированного использования ИИ как академического проступка; упоминание AI detection tool и чек-листа Turnitin AI; отсутствие раскрытых технических метрик качества."}], "open_gaps": ["Нет публичных данных о точных технических метриках работы Turnitin AI Detection в ACU (accuracy, чувствительность, специфичность, детальные показатели false positive/false negative).", "Не найдены формализованные внутренние пороги и правила интерпретации AI-score (какой уровень считался достаточным для запуска дисциплинарного процесса).", "Отсутствуют количественные метрики последствий для студентов (сколько выпусков задержано, сколько предложений о работе или стажировках потеряно из-за ложных флагов).", "Нет прозрачной ретроспективной оценки вреда и бенефитов внедрения в виде сравнения показателей до/после отключения инструмента.", "Не обнаружены опубликованные отчёты ACU с анализом ошибок детектора и критериями, по которым было принято решение о его отключении."]}
🔗 citations
["https://economictimes.com/magazines/panache/university-uses-ai-to-hunt-cheaters-but-ends-up-framing-innocent-students-instead-digital-witch-hunt-sparks-outrage/articleshow/124426910.cms", "https://failureindex.ai/failures/turnitin-ai-detector-falsely-flagged-thousands", "https://staff.acu.edu.au/our_university/centre-for-education-and-innovation/curriculum-design-and-quality-assurance/academic-integrity/academic-integrity-faqs", "https://www.abc.net.au/news/2025-10-09/artificial-intelligence-cheating-australian-catholic-university/105863524", "https://www.facebook.com/eteducation/posts/in-an-ironic-twist-emblematic-of-the-ai-age-the-australian-catholic-university-a/740324179062342/", "https://www.facebook.com/groups/aiforteachers/posts/1080018033412506/", "https://www.instagram.com/reel/DPnXNl-jkRt/?hl=en", "https://www.linkedin.com/posts/simondwaller_university-caught-out-using-ai-to-wrongly-activity-7381886680451993600-mx5X", "https://www.reddit.com/r/University/comments/1thly2j/australian_catholic_university_and_uct_just/"]