COGNITIVE-CYCLE-3AGENTS-PILOT-V2
артефакткогнитивный-цикл-3агента-пилот-v2
Простыми словами
Тот же эксперимент с когнитивным циклом из 3 агентов, что и в v1, но парсер типов сообщений был сломан — он отбрасывал большую часть вывода агентов как «SILENT» (тихий), когда они использовали небольшие вариации формата. Мы перезапускаем с более снисходительным парсером, который принимает вариации, фактически производимые LLM. Если агенты теперь покажут разнообразные типы сообщений, то «сходимость» в v1 была просто ошибкой парсера. Если они все равно сойдутся, то субстрат действительно сглаживает асимметрию.
▶ Технические детали
Исследовательская гипотеза
ПОВТОРНЫЙ ЗАПУСК cognitive-cycle-3agents-pilot (v1, commit 78abbf9d6) с исправленным парсером + примеры промптов. Диагностика v1: строгий белый список контента [TYPE] отклонял большинство выводов агента (варианты типа [COUNT] x, OBSERVATION — x, OBS: x все помечались как SILENT), вынуждая 19 из 24 ходов попасть в один бакет OBSERVATION + 5 SILENT — кажущаяся «конвергенция» (P1 JS=0.000) была артефактом реализации, а не свойством субстрата. 8 из 19 трансляций даже содержали буквальное слово «content» (LLM копировал шаблонный плейсхолдер). Исправления v2: 1. Гибкий парсер: шаблоны заголовков в квадратных скобках/с двоеточием/тире; нормализация COUNT|NUMBER|ENUM → OBSERVATION, HYPOTHESIS|IDEA|GUESS → CLAIM, ASK|INQUIRY → QUESTION, SKEPTICAL|UNSURE → DOUBT, QUIET|NOTHING → SILENT. Нераспознанный текст → FREE_TEXT (новый бакет, транслирует контент). Защита от утечки шаблона: буквальное «content» → FAILED_PARSE (отдельный диагностический бакет, не молчаливый). 2. Примеры промптов: 5 конкретных однострочных примеров для каждого типа, встроенных в спецификацию ACT; SILENT явно представлен как допустимый выбор, а не ошибка. 3. Тест на дым: scripts/test_cc_parser.py проверяет 21 репрезентативный ввод. Проверяемая гипотеза: было ли обнаружение конвергенции в v1 (P1 JS=0.000, P4 cos=0.985) свойством субстрата (субстрат действительно сводит всю асимметрию к одному стилю вывода) ИЛИ артефактом парсера (LLM производил разнообразные типы, парсер их отбрасывал)? v2 с рабочим парсером различает эти варианты.
Постановка эксперимента
Тип: 2-condition-architecture-vs-naive
| Условие | Параметры |
|---|---|
| COGNITIVE_CYCLE | architecture: cognitive_cycle, asymmetric_beliefs: true, private_memory: true, typed_protocol: true, use_retrieval: true, note: Full architecture: 3 agents with different starting beliefs, per-agent private memory, lenient-parser typed-message protocol (OBSERVATION/QUESTION/CLAIM/DOUBT/SILENT + FREE_TEXT + FAILED_PARSE diagnostics), structured PERCEIVE-REFLECT-PLAN-ACT cycle, retrieval-augmented context (top-3 memories by cosine vs env+latest-msgs). |
| NAIVE_REPLICATION | architecture: naive_replication, asymmetric_beliefs: false, private_memory: false, typed_protocol: false, use_retrieval: false, note: Replicates differentiation-without-injection baseline as control: 3 agents with IDENTICAL starting belief, shared text memory (last 10 lines dumped), free-text output (no typed protocol), no retrieval. Mandatory Goodhart-audit per AUTHORS-MATRIX — distinguishes architecture effect from substrate noise. |
Факторы: architecture (cognitive_cycle, naive_replication)
Параметры
- model
- qwen2.5-7b-instruct-1m
- n_agents
- 3
- n_runs_per_condition
- 1
- temperature
- 0.85