EXP-CROSS-MODEL-CONCEPT-NOVELTY-PORTABILITY
✓ подтвержденоQ4 — кросс-модельное воспроизведение инверсии концептуальной новизны CO_LIC против NS_LIC из Q2 (claude-haiku-4-5 + qwen-2.5-7b-instruct)
Простыми словами
В этом эксперименте проверялось, было ли предыдущее открытие о том, как различные инструкции влияют на креативность ИИ-моделей, специфичным для одного типа ИИ или применимым в более широком смысле. Исследователи обнаружили, что одна ИИ-модель, когда ей предлагалось быть консервативной, с большей вероятностью генерировала новые идеи, чем когда ей предлагалось искать новизну, что было противоположно ожиданиям. Эта закономерность оказалась верной для двух разных ИИ-моделей, что позволяет предположить, что это общая характеристика того, как эти модели реагируют на инструкции, касающиеся креативности.
▶ Технические детали
Исследовательская гипотеза
Q2 (exp-prompt-mechanism-factorial, 2026-05-13, gemini-2.5-flash-lite) обнаружил ИНВЕРТИРОВАННУЮ-ПЕРСОНУ-НА-КОНЦЕПТУАЛЬНОМ-УРОВНЕ: при явной лицензии + отсутствии контр-фрейминга, консервативная персона произвела 20.59% концептуально-новых (CO_LIC_NOC, N=5, 34 принятия) по сравнению с персоной, ищущей новизну, 5.56% (NS_LIC_NOC, N=5, 54 принятия) — 3.7× ИНВЕРТИРОВАННОЕ соотношение (CO > NS на концептуальном канале, хотя NS > CO на лексическом канале 100% против 82.4%). Q4 проверяет, является ли эта закономерность специфичной для flash-lite (артефакт архитектуры субстрата одной модели) или переносимой между моделями (свойство архитектуры субстрата LLM-prompted-novelty в целом). ДИЗАЙН: 2 ячейки (CO_LIC_NOC, NS_LIC_NOC — те же персоны/лицензии/контр-промпты дословно из конфигурации Q2) × N=10 запусков/ячейка × 2 модели = 40 запусков всего. Модели: anthropic/claude-haiku-4-5 (сильно выровненная по RLHF, Anthropic) + qwen/qwen-2.5-7b-instruct (с открытым весом, меньшая насыщенность RLHF по отчетам команды Qwen). Обе через унифицированный шлюз OpenRouter. ПРЕДВАРИТЕЛЬНО ЗАРЕГИСТРИРОВАННЫЕ ВЕРДИКТЫ (ЗАБЛОКИРОВАНО 2026-05-18 ДО ЗАПУСКА): - ПОДТВЕРЖДАЕТСЯ-МЕЖДУ-МОДЕЛЯМИ: ОБЕ модели показывают CO_LIC_NOC ≥15.4% концептуально-новых И NS_LIC_NOC ≤7% концептуально-новых И соотношение CO/NS ≥2.0× (то же инвертированное направление, что и в Q2 flash-lite). Тезис Paper7 V3 о переносимости между моделями подтверждается, область охвата §abstract расширяется.
- СПЕЦИФИЧНО-ДЛЯ-FLASH-LITE: НИ ОДИН субстрат между моделями не воспроизводит закономерность (обе показывают соотношение CO/NS <1.5× ИЛИ инвертированное направление ИЛИ абсолютные показатели упали до минимума). Область охвата §abstract Paper7 сужается до "на gemini-2.5-flash-lite".
- ЧАСТИЧНО: ОДНА модель воспроизводит закономерность (CO/NS ≥2.0×, инвертированное), другая нет. Тезис Paper7 V3 становится "находкой класса моделей, выровненных по RLHF" или "находкой класса моделей с открытым весом", в зависимости от того, какая сторона проходит.
- НЕОДНОЗНАЧНО: показатели падают равномерно (например, обе ячейки <5% в обеих моделях — условие прекращения: нижний предел, ограниченный субстратом, независимо от персоны).
Вычисления: концептуально-новая ставка на ячейку на модель с помощью скриптов/buzzword-recombination-audit.py, примененных к принятым предложениям (rule_lineage отфильтровано по тегам truly_novel + lineage_extension). Доверительный интервал Уилсона 95% для суммарного количества концептуально-новых / общего числа принятий. СРАВНИТЕЛИ: - Якорь Q2 (gemini-2.5-flash-lite, тот же движок + RULE_SPACE_SEED): CO_LIC_NOC = 20.59% [10.4, 36.8] (7/34 концептуально-новых, N=5) NS_LIC_NOC = 5.56% [1.9, 15.1] (3/54 концептуально-новых, N=5) Соотношение CO/NS = 3.70× ИНВЕРТИРОВАННОЕ
- paper8 substrate-floor 1.17% (тест на замыкание, архив из 943 принятий, консервативный-стандартный промпт — устанавливает нижний предел, ограниченный субстратом, при промпте без лицензирования).
ПРИМЕЧАНИЕ ПО СВЯЗИ: этот эксперимент ВВОДИТ новый агент-промпт в базовый движок rule_multigen (пользовательский propose_prompt_template + промпты условий персоны, скопированные дословно из Q2). Согласно lab.md, правило INJECT, verdict.md ДОЛЖНО содержать раздел абляции управления фреймом. Сравнитель управления фреймом здесь: Q1 (exp-pure-llm-licensing-ceiling) использовал шаблон промпта MAX-license без явного контраста между консервативной и ищущей новизну персоной на том же движке + flash-lite. Управление фреймом между моделями: идеальной была бы ячейка с базовым identical_prompt для каждой модели, но это добавило бы N=20 запусков → отложенное обоснование: бюджет затрат ограничен $5, две основные ячейки × две модели уже потребляют ~$2-4 по оценкам.
Постановка эксперимента
Тип: 2cell-cross-model
| Условие | Параметры |
|---|---|
| CO_LIC_NOC | coupling: true, must_propose: true, axis_diversify: true, meta_modifiable: true, mute_signal: false, cosigner_required: false, propose_prompt_template: === GEN {gen} OPEN-ENDED PROPOSAL (round {r_local}) === Inherited rules: {rules_str} Known values: {rule_space_str}{axis_hint} Propose a NEW value for one axis. The new value SHOULD extend beyond known values. Examples of valid novel values: 'hierarchical' for broadcast_to, 'metaphorical' for signal_type, 'critical' for coupling_strength. {must_clause} Output JSON: {{"action": "propose", "axis": "<axis>", "value": "<short novel value>", "reasoning": "<why>"}} OR {{"action": "pass"}} |
| NS_LIC_NOC | coupling: true, must_propose: true, axis_diversify: true, meta_modifiable: true, mute_signal: false, cosigner_required: false, propose_prompt_template: === GEN {gen} OPEN-ENDED PROPOSAL (round {r_local}) === Inherited rules: {rules_str} Known values: {rule_space_str}{axis_hint} Propose a NEW value for one axis. The new value SHOULD extend beyond known values. Examples of valid novel values: 'hierarchical' for broadcast_to, 'metaphorical' for signal_type, 'critical' for coupling_strength. {must_clause} Output JSON: {{"action": "propose", "axis": "<axis>", "value": "<short novel value>", "reasoning": "<why>"}} OR {{"action": "pass"}} |
Факторы: persona (conservative, novelty-seeking) × license (yes-license) × counter (no-counter) × model (anthropic/claude-haiku-4.5, qwen/qwen-2.5-7b-instruct)
Параметры
- n_agents
- 4
- n_rounds
- 45
- model
- qwen/qwen-2.5-7b-instruct
- temperature
- 0.85