← к хронологии

EXP-PAPER9-CROSS-ENGINE-VALIDATION

в работе

paper9 фаза-2 кросс-движковая валидация (flash-2.5-lite)

2026-05-16 L8 уровень paper9 20 запусков
new
premortem
mock
real
metrics
analyze
review
krit
done

Простыми словами

В этом эксперименте проверялось, работает ли новая архитектура ИИ-модели, разработанная для улучшения понимания концепций искусственным интеллектом, стабильно на разных версиях движка ИИ. Исследователи провели одни и те же тесты на старой и новой версиях движка, чтобы увидеть, будут ли результаты одинаковыми. Результаты все еще анализируются, чтобы определить, является ли архитектура надежной или ее производительность специфична для конкретного движка.

Технические детали

Исследовательская гипотеза

Перекрестная проверка результатов двухканальной архитектуры paper9 V3. Эксперимент exp-paper9-phase2-rerun-with-trace повторяется идентично (те же 4 ячейки × N=5 = 20 запусков, те же промпты NS+LIC, тот же начальный сид), но на gemini-2.5-flash-lite (ОРИГИНАЛЬНЫЙ движок paper9 V2, в отличие от flash-2.0-lite-001 в rerun-trace). Проверяется, является ли обратный порядок ячеек STRATIFIED-CONCEPT (HMACE > CORAL > GenericAgent > MemQ при concept-novel) переносимым между движками или специфичным для 2.0-lite. Зарегистрированные вердикты:

  • CROSS-ENGINE-CONFIRMED: flash-2.5-lite производит тот же порядок ячеек при concept-novel (ячейка ранга 1 = HMACE), с доверительными интервалами Wilson95, которые не пересекаются произвольно → двухканальная архитектура выдерживает смену движка → paper9 V3 надежен → paper9 → ГОТОВ К ПУБЛИКАЦИИ. Операционный дискриминатор: HMACE concept-novel ≥10 пунктов выше следующей по величине ячейки при concept-novel.
  • CROSS-ENGINE-FALSIFIED: flash-2.5-lite производит ДРУГОЙ порядок ячеек при concept-novel (ранг 1 ≠ HMACE ИЛИ порядок перепутан) → артефакт, специфичный для движка → paper9 V3 требует переписывания с сужением области применения («специально для flash-2.0-lite») перед публикацией.
  • AMBIGUOUS: доверительные интервалы Wilson широко пересекаются при N=5 (HMACE−следующая ячейка < 10 пунктов ИЛИ пересекающиеся доверительные интервалы между рангом 1 и рангом 2) → отложить до последующего эксперимента с N=10/ячейка.

Постановка эксперимента

Тип: 4-cell-ablation-with-trace

Условие Параметры
CORAL-external mechanism: external-deterministic-grader + greedy-feedback
GenericAgent-absent mechanism: no-closure + uniform-random
HMACE-distributed mechanism: 4-role-persona-rotation + no-central-scalar
MemQ-in-retrieval mechanism: q-value-em-retrieval-from-memory

Факторы: closure_placement (CORAL-external, GenericAgent-absent, HMACE-distributed, MemQ-in-retrieval)

paper9 cross-engine-validation flash-2.5-lite publication-gate rerun-trace 4-cell-ablation INJECT frame-control-built-in