← к хронологии

EXP-EVO-LOOP-EMBEDDING

в работе

Метрика вложений EvoLoop — расстояние семантического архива против базового TF-IDF

2026-04-30 L6 уровень paper4 1 запусков $0.05
new
premortem
mock
real
metrics
analyze
review
krit
done

Простыми словами

Исследователи тестируют новый способ измерения появления новых идей в системе с течением времени, сравнивая его с более старым методом. Старый метод, основанный на использовании слов, показал, что количество новых идей на самом деле уменьшается. Новый метод использует более продвинутое понимание значений слов, чтобы проверить, показывает ли он другую картину.

Технические детали

Исследовательская гипотеза

Пилотный эксперимент (exp-evo-loop-pilot, метрика TF-IDF) показал СНИЖАЮЩУЮСЯ траекторию новизны (0.887→0.871→0.858), несмотря на качественное смещение тем между поколениями. TF-IDF может недооценивать семантическую новизну, когда метки тем меняются, но поверхностная лексика пересекается. Метрика семантического вложения (all-MiniLM-L6-v2) может показать другую форму траектории, если качественное смещение представляет собой истинное семантическое отклонение, не обнаруженное TF-IDF. Фактчекабельность: если метрика вложений показывает восходящую траекторию по сравнению со снижающейся TF-IDF → артефакт метрики, а не свойство субстрата. Если обе снижаются → результат надежен.

Постановка эксперимента

Тип: simple

Условие Параметры
EVO_NOVELTY persona: IDENTICAL, n_runs: 1

Факторы: selection (NOVELTY)

Параметры

n_agents
4
model
google/gemini-2.5-flash-lite
temperature
0.8
evolutionary-loop novelty-selection multi-generation embedding-metric paper4-metric-validation