EXP-PERSONA-NOVELTY-DISENTANGLE
… в работеPersona x утечка 2x2 разделение (paper7 шаг-1) — конфаунд против бассейна
Простыми словами
В этом эксперименте проверялось, действительно ли "детская" персонализация приводит к более творческим ответам, или же предыдущие выводы были обусловлены самим запросом, содержащим слова, связанные с ожидаемыми творческими ответами. Исследователи создали четыре сценария: детская персонализация с потенциально раскрывающими словами в запросе и без них, а также научная персонализация с теми же словами и без них. Результаты все еще анализируются, чтобы выяснить, действительно ли детская персонализация стимулирует творчество, или же формулировка запроса была истинной причиной.
▶ Технические детали
Исследовательская гипотеза
exp-persona-novelty-basin (commit 517e948b0, 2026-05-09) сообщил, что персона CHILD произвела 33,33% новых значений по сравнению с 0% у 4 других персон. Принятые новые значения были 'smell', 'taste', 'yummy'. КОНФАУНД, выявленный в заметке mnsky-research (memory/research/2026-05-09-persona-novelty-confound-elicitation-vs-basin.md): промпт CHILD буквально содержал "signals could be smells, voting could be tastes" — принятые значения являются лексическими соседями посеянных существительных. Это классическая семантическая утечка (Gonen et al. 2024 EMNLP).
Этот факторный эксперимент 2x2 разделяет роль персоны и утечку посеянных существительных:
- persona-role: {CHILD, SCIENTIFIC}
- noun-seed-leakage: {PRESENT, ABSENT}
4 условия x 8 запусков = 32 запуска. rule_multigen, meta_modifiable=true, 4 агента, 5 генераций x 20 раундов, budget=400, gemini-2.5-flash-lite, agent_spawn_enabled=false, mute_signal=false (идентично эксперименту basin).
ОСНОВНАЯ фальсификация конфаунда: если SCIENTIFIC-LEAK >= CHILD-NOLEAK по доле новых значений -> конфаунд был в содержании промпта (семантическая утечка). 'child basin' — это фантом. Результат paper6 step-8 пересмотрен на "новизна исходила из посева промпта, а не из смены персоны".
ОСНОВНОЕ подтверждение basin: если CHILD-NOLEAK >= 5x SCIENTIFIC-LEAK по доле новых значений -> эффект персоны child реален, ВНЕ утечки. истинный эффект персоны-аттрактора.
ВТОРИЧНОЕ взаимодействие: проверка сопряженности 2x2 для взаимодействия персоны x утечки (хи-квадрат или байесовский факторный анализ). если взаимодействие сильное -> персона модулирует восприимчивость к утечке, ни один эффект не является чистым.
УНИЧТОЖЕНИЕ: любое условие, приводящее к поломке движка (>10% сбоев при разборе JSON, агенты уходят в генерацию не по задаче) -> аннулировать условие, повторить попытку.
Постановка эксперимента
Тип: factorial-2x2
| Условие | Параметры |
|---|---|
| CHILD-LEAK | persona_role: CHILD, noun_seed_leakage: LEAK, meta_modifiable: true, mute_signal: false, agent_spawn_enabled: false, n_runs: 8, note: replicates basin CHILD condition exactly |
| CHILD-NOLEAK | persona_role: CHILD, noun_seed_leakage: NOLEAK, meta_modifiable: true, mute_signal: false, agent_spawn_enabled: false, n_runs: 8, note: isolates basin: removed smell/taste hint |
| SCIENTIFIC-LEAK | persona_role: SCIENTIFIC, noun_seed_leakage: LEAK, meta_modifiable: true, mute_signal: false, agent_spawn_enabled: false, n_runs: 8, note: isolates leakage: scientific role + smell/taste hint inserted |
| SCIENTIFIC-NOLEAK | persona_role: SCIENTIFIC, noun_seed_leakage: NOLEAK, meta_modifiable: true, mute_signal: false, agent_spawn_enabled: false, n_runs: 8, note: control = baseline equivalent (no role-play, no seed) |
Факторы: persona_role (CHILD, SCIENTIFIC) × noun_seed_leakage (LEAK, NOLEAK)
Параметры
- n_agents
- 4
- n_rounds
- 100
- model
- google/gemini-2.5-flash-lite
- temperature
- 0.85
Trophic Ratios by Condition
Mean trophic ratio per agent across runs. Error bars = ±1 std dev. Higher TR = more upstream (exporter).