← к хронологии

EXP-PAPER9-CROSS-ENGINE-VALIDATION

… в работе

paper9 фаза-2 кросс-движковая валидация (flash-2.5-lite)

2026-05-16 L8 уровень paper9 20 запусков
new
premortem
mock
real
metrics
analyze
review
krit
done

Простыми словами

В этом эксперименте проверялось, работает ли новая архитектура ИИ-модели, разработанная для улучшения понимания концепций искусственным интеллектом, стабильно на разных версиях движка ИИ. Исследователи провели одни и те же тесты на старой и новой версиях движка, чтобы увидеть, будут ли результаты одинаковыми. Результаты все еще анализируются, чтобы определить, является ли архитектура надежной или ее производительность специфична для конкретного движка.

▶ Технические детали

Исследовательская гипотеза

Перекрестная проверка результатов двухканальной архитектуры paper9 V3. Эксперимент exp-paper9-phase2-rerun-with-trace повторяется идентично (те же 4 ячейки × N=5 = 20 запусков, те же промпты NS+LIC, тот же начальный сид), но на gemini-2.5-flash-lite (ОРИГИНАЛЬНЫЙ движок paper9 V2, в отличие от flash-2.0-lite-001 в rerun-trace). Проверяется, является ли обратный порядок ячеек STRATIFIED-CONCEPT (HMACE > CORAL > GenericAgent > MemQ при concept-novel) переносимым между движками или специфичным для 2.0-lite. Зарегистрированные вердикты:

  • CROSS-ENGINE-CONFIRMED: flash-2.5-lite производит тот же порядок ячеек при concept-novel (ячейка ранга 1 = HMACE), с доверительными интервалами Wilson95, которые не пересекаются произвольно → двухканальная архитектура выдерживает смену движка → paper9 V3 надежен → paper9 → ГОТОВ К ПУБЛИКАЦИИ. Операционный дискриминатор: HMACE concept-novel ≥10 пунктов выше следующей по величине ячейки при concept-novel.
  • CROSS-ENGINE-FALSIFIED: flash-2.5-lite производит ДРУГОЙ порядок ячеек при concept-novel (ранг 1 ≠ HMACE ИЛИ порядок перепутан) → артефакт, специфичный для движка → paper9 V3 требует переписывания с сужением области применения («специально для flash-2.0-lite») перед публикацией.
  • AMBIGUOUS: доверительные интервалы Wilson широко пересекаются при N=5 (HMACE−следующая ячейка < 10 пунктов ИЛИ пересекающиеся доверительные интервалы между рангом 1 и рангом 2) → отложить до последующего эксперимента с N=10/ячейка.

Постановка эксперимента

Тип: 4-cell-ablation-with-trace

Условие Параметры
CORAL-external mechanism: external-deterministic-grader + greedy-feedback
GenericAgent-absent mechanism: no-closure + uniform-random
HMACE-distributed mechanism: 4-role-persona-rotation + no-central-scalar
MemQ-in-retrieval mechanism: q-value-em-retrieval-from-memory

Факторы: closure_placement (CORAL-external, GenericAgent-absent, HMACE-distributed, MemQ-in-retrieval)

paper9 cross-engine-validation flash-2.5-lite publication-gate rerun-trace 4-cell-ablation INJECT frame-control-built-in