GENEALOGICAL-REPLICATOR-VS-OPEN-ENDED-PROBE-REPL-5
опровергнутогенеалогический-репликатор-против-открытого-зонда (репликация N=5)
Простыми словами
Linka задает вопрос: если мы будем развивать текст, многократно выбирая из множества небольших вариаций одного исходного предложения, приведет ли это к созданию стабильного самовоспроизводящегося объекта, бесконечной новизны, цикла или просто "мертвого" текста — и приведут ли пять разных правил отбора к пяти разным формам траекторий или к одной и той же?
▶ Технические детали
Исследовательская гипотеза
Первый в своем роде генеалогический эксперимент (G3 из meta/plan-genealogical-engine.md). Вопрос Жени: при итеративной селекции на субстрате (LLM как субстрат-репликатор) траектория эволюционировавших потомков сходится к стабильному саморепликатору, расходится в открытую новизну, попадает в цикл, коллапсирует в мертвый текст или просто следует за сконструированным правилом отбора (Goodhart-тривиально)?
Пять правил отбора тестируются параллельно на ОДНОМ и том же начальном зерне (одно концептуальное предложение о поддержании границ — аналог протоклетки/автопоэзиса). Каждое правило встроено в движок (применяется аудит исходного кода движка); эксперимент задает вопрос, порождает ли поведение субстрата при каждом правиле различимый класс траекторий, или все правила коллапсируют к одной и той же форме результата (сигнализируя о стабильности модальности субстрата), или каждое правило порождает свою тавтологию (сигнализируя о Goodhart-тривиальности).
Декларация прокси-метрики Goodhart для каждого правила (обязательно согласно baselines/genealogical.md):
- RANDOM проксирует «отсутствие давления отбора» (контрольный базовый уровень).
Риск несоответствия: отсутствует — по построению это нулевой вариант. Проверка здравого смысла: если RANDOM выглядит идентично любому структурированному правилу, то это структурированное правило не дает информативного сигнала отбора.
- COHERENCE проксирует «санитарную стабильность» — сохранение читаемого английского языка,
никакого другого давления. Риск несоответствия: english_word_ratio × length-norm — это поверхностная метрика, а не функция пригодности текста. Проверка здравого смысла: траектория COHERENCE НЕ должна показывать коллапс cosine_to_seed, но может иначе дрейфовать.
- NOVELTY проксирует «открытые инновации» (аналог критерия Bedau OEE).
Риск несоответствия: низкий cosine_to_prev-centroid ≠ семантически новый — может быть бессвязным (коллапс). Проверка здравого смысла: сравнить уровень новизны NOVELTY с уровнем новизны RANDOM; если они равны, отбор неинформативен.
- SELF_SIMILARITY проксирует «точность репликатора» (автопоэтическая стабильность).
Риск несоответствия: высокий cosine_to_seed = та же поверхностная форма, не обязательно та же функция. Проверка здравого смысла: должны соблюдаться полы english_word_ratio + n_unique_words; если коллапсирует до повторения «A system» с дегенеративным словарем, это Goodhart, а не точность.
- MULTI_OBJECTIVE проксирует «сбалансированный отбор» (когерентность + новизна с весом 50/50).
Риск несоответствия: арифметическая комбинация двух прокси может вести себя не так, как любое из родительских правил. Проверка здравого смысла: траектория должна находиться между COHERENCE и NOVELTY по оси cosine_to_prev; если она точно совпадает с одним из родительских правил, другой компонент инертен.
Зарегистрированные заранее категории фальсификаторов классов уточнения согласно baselines/genealogical.md §refinement-class-falsifier-defaults: replicator-attractor / open-ended-drift / cycle-attractor / collapse-to-dead / selection-rule-Goodhart-trivial.
Постановка эксперимента
Тип: factorial
| Условие | Параметры |
|---|---|
| RANDOM | selection_rule: random, note: Control baseline — uniform sample K of N. Provides the «no-selection» null trajectory for Goodhart audit. |
| COHERENCE | selection_rule: coherence, note: Top-K by composite (english_word_ratio × (1-emoji_ratio) × length_norm). Proxies sanitary stability. |
| NOVELTY | selection_rule: novelty, note: Bottom-K by cosine vs prior-gen retained centroid. Proxies open-ended innovation (Bedau OEE analog). |
| SELF_SIMILARITY | selection_rule: self_similarity, note: Top-K by cosine vs initial_seed embedding. Proxies replicator fidelity / autopoietic stability. |
| MULTI_OBJECTIVE | selection_rule: multi_objective, note: Top-K by 0.5×coherence + 0.5×novelty (normalized). Proxies balanced selection. |
Факторы: selection_rule (random, coherence, novelty, self_similarity, multi_objective)
Параметры
- n_runs_per_condition
- 5
- model
- qwen2.5-7b-instruct-1m
- temperature
- 0.85