Validation: Flash LLM core evaluation

Окружение#

Результаты по критериям#

Команды проверки#

Для preregistered preflight:

node --test RnD/technical/2026-07-26-flash-llm-core-evaluation/prototype/run.test.ts
node RnD/technical/2026-07-26-flash-llm-core-evaluation/prototype/run.ts prepare
npm run typecheck
npm run validate:technical

Для фактически сохранённых run-1 outputs default CLI:

node RnD/technical/2026-07-26-flash-llm-core-evaluation/prototype/run.ts evaluate
npm run check:all

Run-2 и run-3 оценивались exported function с отдельными raw/scorecard paths. Актуальный run-3 вызов:

node --input-type=module -e '
import { evaluateSavedResponses } from "./RnD/technical/2026-07-26-flash-llm-core-evaluation/prototype/run.ts";
await evaluateSavedResponses(
  "RnD/technical/2026-07-26-flash-llm-core-evaluation/artifacts/raw/run-3",
  "RnD/technical/2026-07-26-flash-llm-core-evaluation/artifacts/derived/run-3-scorecard.json",
);
'

Фактическая execution/audit evidence:

• Historical run-1/run-2 results сохранены в RESEARCH.md; они не являются текущим run-3 model-selection evidence.
• Parallel OAuth dry-run получил refresh-token race. Sequential retry прошёл 12/12 graphs, 0 failed, 0 credits.
• Paid execution: один submit_batch, ready 12, pending 0, failed 0.
• Run-3 evaluate: observed 12/12, missing 0; telemetry Unknown 12/12; deterministic Qwen 4/6, DeepSeek 4/6; outcome inconclusive.
• Evaluator audit первоначально сохранил initial scorecard SHA/summary, но не отдельную полную копию. После changes review полные serialized bytes восстановлены в run-3-scorecard-pre-amendment.json; SHA-256 совпадает с hash до regeneration. Это reconstruction, не original write-once snapshot. Raw SHA-256 заморожены. RED 18/2 expected failures, GREEN 20/0; provider rerun не выполнялся.
• Independent agent semantic audit: Qwen 4/6, DeepSeek 3/6. Это не human naturalness review.

Fresh final verification выполнена после artifact/doc sync:

• npm run check:all завершился с exit 0: site 5/5, technical 61/61, strict typecheck, 11 studies без failures, build 101 docs, validation 272 HTML pages/28 099 local links/3 493 anchors/55 presentation links/0 failures, Bun 2/2;
• live-target probe: reuse http://127.0.0.1:8788 сначала вернул connection failure, затем документированный npm run dev поднял local preview;
• isolated Playwright desktop flow выполнил два последовательных действия: library → README → RESEARCH. После каждого клика сделан новый snapshot; README показывает Status: complete, Outcome: inconclusive, console errors/warnings = 0;
• на 390×844 RESEARCH имеет document.scrollWidth=390 при innerWidth=390; wide table остаётся внутри .table-scroll с clientWidth=356, scrollWidth=672, overflow-x:auto. После mobile click RESEARCH → README новый snapshot показывает тот же итог и document.scrollWidth=390;
• bounded impeccable detect --json для built README/RESEARCH завершился. Findings advisory/non-blocking: generated-shell color, em-dash prose и порядковые evidence codes; verification blocker отсутствует.

Метрики#

Ошибки и нестабильность#

Три бесплатных billing probes не дошли до get_billing_status:

1. streamable HTTP initialization получил GET returned HTTP 400, затем connection closed during initialize;
2. изолированный retry завершился timed out awaiting tools/list after 30s.
3. после успешного повторного codex mcp login comfy-cloud fresh child снова получил HTTP 400/init failure, а billing method отсутствовал: TypeError: tools.mcp__comfy_cloud__get_billing_status is not a function.

Это было transport/init failure, а не нулевой баланс. Позже generation tools официального MCP стали доступны и run-1 был выполнен с явным согласием пользователя, но get_billing_status в доступном toolset отсутствует. Фактический credit delta поэтому Unknown, а не ноль.

В run-1 первый Qwen RU intent job не зарегистрировался. Подтверждённый retry завершился job.empty_output; пустой raw artifact и error сохранены вместо синтетического ответа. Остальные 11 ячеек дали raw provider output.

Measurement audit после run-1 обнаружил два under-specified prompts и одну группу false negatives в RU narration matcher. Intent prompt не называл exact CommandProposal; scenario prompt не задавал array/null requirements; JavaScript \w и неполный список глагольных форм не покрывали корректную кириллическую narration. Исправления прошли RED/green regression tests. Критерии и v1 artifacts не переписывались: изменения оформлены датированным protocol amendment до correction calls.

Historical correction run-2 не имел provider/job failures, а его scorer зафиксировал два Qwen scenario schema failures:

1. RU: storyFacts/1/visibility/kind не соответствовал допустимому union и для выбранной ветки отсутствовал playerIds;
2. EN: clocks/0/whenFull должен быть string.

Позднейший independent audit обнаружил в revision 2 answer leakage и scorer false positives, поэтому прежний вывод о DeepSeek 6/6 и practical candidate считается superseded, а не текущим.

Run-3 operational anomaly: parallel OAuth dry-run столкнулся с refresh-token race. Dry-run повторили строго последовательно; он прошёл 12/12 graphs. Paid execution был одним 12-job batch без per-job balance checks, поэтому это отклонение от AC-07, а не доказательство sequential billing control.

Текущие run-3 model failures:

1. обе RU scenario cells fail structural contract: Qwen не указал playerIds для players visibility; DeepSeek использовал human-readable Russian locationId вместо lowercase ASCII kebab-case;
2. Qwen RU narration правильно отражает clock advancement, но выдумывает завершённую служебную запись;
3. DeepSeek EN narration использует допустимый success synonym, но выдумывает ещё одну улику;
4. agent semantic audit дополнительно отклоняет DeepSeek RU narration: «Юноша (Juno)» приписывает возраст и гендер, отсутствующие в projection.

Post-run evaluator audit обнаружил bounded vocabulary false negatives. Initial scorecard SHA и diagnostic summary были записаны в audit до regeneration. После changes review полная byte-exact версия восстановлена как artifacts/derived/run-3-scorecard-pre-amendment.json; её SHA-256 08236755…bbf2665 совпадает с исходно записанным hash. Это reconstruction, не original write-once snapshot. Raw files не менялись; provider rerun не было. После RED/GREEN scorer amendment canonical scorecard пересоздан.

Residual measurement limits material: scenario compiler проверяет structure, но не исполняет free-text exit.when и не оценивает coherence. Privacy gate ищет exact hidden tokens, но не translated/paraphrased leakage. Open-ended grounding hallucinations нельзя закрыть blacklist regex.

Первый полный check:all также выявил, что prompt templates с расширением .md ошибочно попадали в research-site renderer и оставляли unresolved double-brace placeholders. Templates переименованы в .txt; повторный полный gate прошёл. Эта неуспешная попытка сохранена в RESEARCH.md, а не удалена из истории.

Воспроизводимость#

Run-1 и run-2 artifacts сохранены как historical и не пересчитаны v3 evaluator. Run-3 имеет отдельные protocol, preflight, job log, raw root, telemetry, scorecard и evaluator audit. Все 12 provider cells выполнены заново, без reuse prior outputs.

Manifest schema v2 включает protocolRevision: 3. Logical manifest: a758d221a63eb2f2600af570d8431764597bd8c3ae75d4960d94d8963e0ebfb8. Полный preflight-v3 manifest file SHA, дополнительно связывающий все prompt и workflow hashes: 9780519911a6c7fc2ed3d6efacf292899a321d8156c0c36ec71ff3c553c2d8f3.

Evaluator audit сохраняет все 12 raw SHA-256 и связывает два полных scorecard: byte-exact reconstructed pre-amendment run-3-scorecard-pre-amendment.json с SHA-256 08236755…bbf2665 и canonical post-amendment run-3-scorecard.json с SHA-256 f9ac7092…e181408. Raw files остались byte-identical, provider rerun не выполнялся. Provider output остаётся stochastic даже при fixed seed, если backend не гарантирует deterministic sampling.

Финальный исход#

• Outcome: inconclusive.
• Model comparison: practical winner отсутствует. Deterministic Qwen 4/6, DeepSeek 4/6; agent semantic audit Qwen 4/6, DeepSeek 3/6. Ни одна модель не прошла bilingual 6/6.
• Почему strict inconclusive: human naturalness review отсутствует 0/4, billing audit missing, credit delta Unknown. Telemetry Unknown 12/12.
• Что результат не доказывает: production reliability, all-genre/all-language quality, executable/coherent scenario branches, paraphrase-safe privacy, long-session continuity или authoring/runtime interop.