EXP-PAPER9-CROSS-ENGINE-VALIDATION
… в работеpaper9 фаза-2 кросс-движковая валидация (flash-2.5-lite)
Простыми словами
В этом эксперименте проверялось, работает ли новая архитектура ИИ-модели, разработанная для улучшения понимания концепций искусственным интеллектом, стабильно на разных версиях движка ИИ. Исследователи провели одни и те же тесты на старой и новой версиях движка, чтобы увидеть, будут ли результаты одинаковыми. Результаты все еще анализируются, чтобы определить, является ли архитектура надежной или ее производительность специфична для конкретного движка.
▶ Технические детали
Исследовательская гипотеза
Перекрестная проверка результатов двухканальной архитектуры paper9 V3. Эксперимент exp-paper9-phase2-rerun-with-trace повторяется идентично (те же 4 ячейки × N=5 = 20 запусков, те же промпты NS+LIC, тот же начальный сид), но на gemini-2.5-flash-lite (ОРИГИНАЛЬНЫЙ движок paper9 V2, в отличие от flash-2.0-lite-001 в rerun-trace). Проверяется, является ли обратный порядок ячеек STRATIFIED-CONCEPT (HMACE > CORAL > GenericAgent > MemQ при concept-novel) переносимым между движками или специфичным для 2.0-lite. Зарегистрированные вердикты:
- CROSS-ENGINE-CONFIRMED: flash-2.5-lite производит тот же порядок ячеек при concept-novel (ячейка ранга 1 = HMACE), с доверительными интервалами Wilson95, которые не пересекаются произвольно → двухканальная архитектура выдерживает смену движка → paper9 V3 надежен → paper9 → ГОТОВ К ПУБЛИКАЦИИ. Операционный дискриминатор: HMACE concept-novel ≥10 пунктов выше следующей по величине ячейки при concept-novel.
- CROSS-ENGINE-FALSIFIED: flash-2.5-lite производит ДРУГОЙ порядок ячеек при concept-novel (ранг 1 ≠ HMACE ИЛИ порядок перепутан) → артефакт, специфичный для движка → paper9 V3 требует переписывания с сужением области применения («специально для flash-2.0-lite») перед публикацией.
- AMBIGUOUS: доверительные интервалы Wilson широко пересекаются при N=5 (HMACE−следующая ячейка < 10 пунктов ИЛИ пересекающиеся доверительные интервалы между рангом 1 и рангом 2) → отложить до последующего эксперимента с N=10/ячейка.
Постановка эксперимента
Тип: 4-cell-ablation-with-trace
| Условие | Параметры |
|---|---|
| CORAL-external | mechanism: external-deterministic-grader + greedy-feedback |
| GenericAgent-absent | mechanism: no-closure + uniform-random |
| HMACE-distributed | mechanism: 4-role-persona-rotation + no-central-scalar |
| MemQ-in-retrieval | mechanism: q-value-em-retrieval-from-memory |
Факторы: closure_placement (CORAL-external, GenericAgent-absent, HMACE-distributed, MemQ-in-retrieval)