Research: Strong LLM core escalation

Baseline#

Flash run-3 завершил 12/12 jobs, но не дал bilingual 6/6 winner. Frozen deterministic scorecard: Qwen 4/6, DeepSeek 4/6. Independent agent semantic audit: Qwen 4/6, DeepSeek 3/6. Intent прошёл у обеих моделей на обоих языках; основные риски остались в RU scenario и grounded narration.

Новый study не пересчитывает и не изменяет Flash artifacts. Он импортирует только frozen prompt builder и role scorers, а provider outputs хранит в отдельной evidence chain.

Метод#

Phase A: screening#

models    = deepseek/deepseek-v4-pro, mistralai/mistral-large-2512
languages = ru, en
roles     = scenario, narration
seeds     = 20260726
calls     = 2 × 2 × 2 × 1 = 8

Scenario и narration выбраны потому, что именно эти lanes не дали общего Flash winner. Intent исключён из screening, но возвращается в независимом finalist confirmation.

Selector#

Для каждой из четырёх cells на модель фиксируются:

• deterministicPassed;
• semanticScore: 0 | 1 | 2;
• criticalGroundingFailure.

Semantic rubric:

• 2 — grounded, coherent, usable, без неподтверждённых facts/effects;
• 1 — minor defect, canonical meaning и grounding сохранены;
• 0 — contradiction, invented state/effect/identity, privacy leak или unusable output.

Eligible model должна иметь 4/4 deterministic, четыре semantic scores не ниже 1 и 0 critical grounding failures. Eligible candidates ранжируются:

1. число cells с deterministicPassed && semanticScore === 2;
2. сумма semantic scores;
3. при равенстве — меньшая published Comfy price. На дату фиксации DeepSeek дешевле Mistral и по input, и по output, поэтому tie-break не зависит от неизвестного token mix.

Phase B: conditional held-out finalist confirmation#

model     = unique selector winner
languages = ru, en
roles     = scenario, intent, narration
seeds     = 20260727, 20260728, 20260729
calls     = 1 × 2 × 3 × 3 = 18

Screening seed и outputs не входят в confirmation. Full-role pass требует 18/18 deterministic, semantic score не ниже 1 во всех cells и отсутствие critical grounding/privacy failures. Phase B запускается только после status: selected; фактический selector вернул no_eligible_candidate, поэтому 18-call phase не materialized и не расходовала кредиты.

Наблюдаемые результаты#

Comfy batch завершился 8 ready / 0 pending / 0 failed. Все восемь raw responses сохранены byte-for-byte и связаны с job ID и SHA-256.

DeepSeek RU scenario формально компилировался, но successful branch разрешал гравитационные колебания в зоне соусов и объявлял аудит пройденным, хотя immutable story facts требовали постоянный 1G и запрещали зоны G<1. Independent audit классифицировал это как critical grounding failure.

Все Mistral outputs содержали Markdown fences вопреки exact-JSON contract и были непригодны для direct parser. Дополнительно обе Mistral narration cells выдумывали canonical identities/logging aftermath. Это наблюдение относится к фиксированной fixture и одному seed, а не доказывает общую неспособность модели.

Выбор кандидатов#

DeepSeek V4 Pro#

Официальная карточка публикует weights под MIT и позиционирует V4 Pro как более крупный reasoning/agentic tier относительно V4 Flash. Exact Comfy ID подтверждён live dynamic combo.

Mistral Large 3 2512#

Mistral называет Large 3 своим самым мощным general-purpose open model: 675B total / 41B active, Apache 2.0, multilingual conversations, system-prompt adherence и JSON output. Он выбран как orthogonal multilingual generalist/narrator. Это credible frontier candidate, а не заранее доказанный победитель Flash: превосходство должен показать этот benchmark.

Отклонённый Qwen upgrade#

qwen/qwen3.6-27b имеет открытые Apache-2.0 weights и был первоначальным controlled upgrade для Qwen Flash, но live Comfy catalog его не содержит. Доступные Qwen Plus/Max являются API-only и нарушают open-weight scope. Поэтому Qwen заменён до первого paid call; изменение сохранено как pre-run catalog decision, а не скрыто.

Evidence registry#

Журнал экспериментов#

Unknown#

• Фактический credit delta, token counts, retries и per-job latency: текущие MCP batch/output tools их не вернули; поля сохранены как null/Unknown.
• Human naturalness для RU/EN narration.
• Production variance, provider drift и seed determinism.
• Story coherence за пределами bounded fixture; held-out finalist seeds не запускались из-за failed selector gate.
• Authoring Adventure/Map -> runtime compiler interop.