Validation: Strong LLM core escalation

Текущее состояние#

• Study status: complete
• Outcome: fail
• Paid screening calls: 8
• Paid finalist calls: 0
• Comfy batch: 8 ready, 0 pending, 0 failed
• Live MCP: production 0.32.0, OAuth authenticated after recorded recovery
• Selected finalist: none

Outcome fail следует предзарегистрированному правилу: полный screen без eligible model завершает исследование и запрещает произвольный 18-call finalist run.

Criteria matrix#

Frozen protocol evidence#

Первый dry-run до этой успешной preflight был отклонён до cloud validation ошибкой invalid_grant: refresh token reuse detected. Он создал 0 jobs и потратил 0 credits. После codex mcp login comfy-cloud официальный consent завершился успешно, get_server_info подтвердил production/OAuth, и 8/8 повторных dry-run прошли. Ошибка и recovery сохранены, а не удалены из истории.

Screening transport и raw evidence#

• Batch ID и все восемь job IDs: screening-jobs.json.
• Completion и SaveText source metadata: screening-outputs.json.
• Raw bytes: artifacts/raw/screening/.
• Deterministic verdicts: screening-scorecard.json.
• Explicit model metadata hidden review: screening-semantic-review.json.
• Unblind join и selector: screening-evidence.json, finalist-selection.json.
• Cross-artifact consistency: artifact-audit.json.

D/S/C ниже означает deterministic result / semantic score / critical grounding failure.

DeepSeek RU scenario прошёл structural scorer, но violated its own immutable story facts: successful path разрешал gravity behavior несовместимое с constant 1G/no G<1 facts и всё равно объявлял compliance. Это semantic 0 и critical grounding failure.

Mistral вернул все четыре ответы в Markdown fences, поэтому direct machine-consumable JSON contract провален 0/4. RU и EN narration также добавляли unsupported identities/logging aftermath.

Selector и finalist#

screening-evidence.json имеет semantic evidence hash 667d7b7b9bff762c11d59ffe7078430260888d8e99d91eb7b6ca31a5cb951e00. Повторный вызов frozen selectFinalist byte-for-byte совпадает с сохранённым artifact:

{
  "status": "no_eligible_candidate",
  "selectedModelId": null,
  "selectionBasis": null
}

Поэтому:

• finalist preflight не создавался;
• seeds 20260727-20260729 не запускались;
• paid finalist calls = 0;
• screening outputs не переиспользованы как held-out evidence.

Post-run trust-boundary verification#

Independent changes review обнаружил два harness gaps: preparation могла принять другой schema-valid catalog и перезаписать output, а selector мог получить hand-assembled evidence. Оба закрыты без изменения historical raw bytes или terminal decision:

• preparation сверяет raw SHA/path catalog с frozen protocol-v1.json + protocol-v1-identity.json;
• non-empty preparation output отклоняется до записи;
• screening evidence выводится только из scorecard, semantic review и private map с exact alias/request/raw SHA/manifest/rubric binding;
• evidence и selection, пересобранные реальными CLI-командами во временный каталог, byte-for-byte совпали с сохранёнными artifacts;
• повторный prepare-screening в тот же каталог завершился ожидаемой ошибкой refusing to overwrite non-empty preparation output.

Telemetry и gaps#

screening-telemetry.json фиксирует observed batch wall interval 447000 ms; это interval между submission и collection, не per-job provider latency. Текущий MCP не вернул input/output tokens, per-job latency, retries или actual credit delta, поэтому эти поля сохранены как null/Unknown.

Также остаются Unknown:

• human naturalness;
• provider drift и seed determinism;
• genre-diverse и long-session reliability;
• Adventure/Map authoring -> runtime compiler interop.

Итоговый verdict#

На одной preregistered RU/EN sci-fi comedy fixture увеличение model tier не дало eligible core winner. Это опровергает H-01 и H-02 в границах данного screen, но не доказывает общую неспособность моделей. Следующий обоснованный шаг - новый protocol для улучшенного machine-output/semantic invariant instrument, а не ослабление текущих gates или post-hoc выбор DeepSeek.