CLOSED-SUBSTRATE-NOVELTY-PROBE
✓ подтвержденоclosed-substrate-novelty-probe
Простыми словами
Исследователи накладывают три ограничения на локальный ИИ: никаких остановок, никаких побегов, никаких повторений слов. ИИ вынужден продолжать генерировать оригинальный контент, не прибегая к знакомым фразам. Это проверяет, может ли ИИ-субстрат обеспечить устойчивую новизну, когда заблокированы как остановка, так и повторение.
▶ Технические детали
Исследовательская гипотеза
Объединим три ограничения одновременно, все на этапе декодирования, на локальной модели Qwen2.5-7B: (a) подавление EOS — подложка не может завершиться (<|im_end|>, <|endoftext|> со смещением -100) (b) подавление выхода перезапуска — подложка не может использовать <|im_start|> для выхода (c) экстремальное давление на повторение — frequency_penalty=2.0 + presence_penalty=2.0
Подложка вынуждена:
- продолжать генерацию (без остановки)
- продолжать избегать выхода через токен перезапуска
- продолжать избегать токены, уже использованные в текущем контексте генерации
Это наиболее близкий аналог на этапе декодирования к критерию «Bedau OEE innovation»: вынужденная новизна (без повторений) при непрерывной генерации (без остановки). Если подложка производит связный новый контент при всех трех ограничениях — это более сильный результат, чем любое из ограничений (подавление EOS или штраф за повторение) по отдельности, поскольку набор ограничений активно предотвращает оба очевидных режима отказа (цикл / завершение).
Зарегистрированные предсказания: P9 новизна-при-закрытии: в условиях CLOSED, среднее соотношение уникальных слов за ход (уникальные слова / общее количество слов) ≥ 0.7 во всех раундах; BASELINE обычно 0.5-0.6. P10 связность-переживает-штраф: соотношение английских слов в условиях CLOSED остается ≥ 0.55 (ожидается некоторое снижение по сравнению с базовым уровнем 0.85+; ≥0.55 = все еще читаемый английский). P11 расхождение n-грамм между ходами: в условиях CLOSED, перекрытие 4-грамм между смежными ходами снижается до ≤ 0.10 (по сравнению с базовым уровнем ~0.30 — агенты естественно разделяют фразы). P12 различающий исход: BASELINE производит нормальный связный текст; EOS_RESTART_SUPP (условие воспроизведения) воспроизводит предыдущее +24% длины, 0% выхода; CLOSED производит либо (a) связный новый контент (попадание Bedau), либо (b) несвязный шум (штрафы слишком агрессивны), либо (c) каскад дрейфа темы (подложка находит новый аттрактор в другой семантической области).
Постановка эксперимента
Тип: 3-condition-factorial
| Условие | Параметры |
|---|---|
| BASELINE | logit_bias: [object Object], decode_params: [object Object], interaction: LIVE, note: Standard generation. Substrate modal multi-agent baseline. |
| EOS_RESTART_SUPP_ONLY | logit_bias: [object Object], decode_params: [object Object], interaction: LIVE, note: Replication condition from prior multi-agent EOS exp. Establishes that we reproduce the +24% words, 0% escape, ~0.80 coherence baseline. |
| CLOSED | logit_bias: [object Object], decode_params: [object Object], interaction: LIVE, note: Both EOS+restart suppressed AND maximum frequency+presence penalty (= 2.0 each, OpenAI-compat max). Substrate cannot stop, cannot escape, cannot repeat tokens. Tests Bedau innovation criterion under forced sustainability. |
Факторы: constraint_stack (BASELINE, EOS_RESTART_SUPP_ONLY, CLOSED)
Параметры
- n_agents
- 3
- n_rounds
- 6
- n_runs_per_condition
- 2
- model
- qwen2.5-7b-instruct-1m
- temperature
- 0.85
- scheduler
- round_robin