Research: Flash LLM core evaluation

Baseline#

Existing vertical slice доказывает порядок intent -> validate -> authoritative rules/RNG -> commit -> projection -> narration на fake adapters. Existing cost-quality study использует fake_local, не делает provider calls и оставляет real quality, latency, tokens, retries и cost как Unknown.

Authoring HostPreferences/AdventureDraft и runtime HostPreferences/AdventureContract несовместимы и пока не связаны compiler mapping. Поэтому три роли сравниваются отдельно.

Метод#

Фиксированная матрица#

models    = qwen/qwen3.6-flash, deepseek/deepseek-v4-flash
languages = ru, en
roles     = scenario, intent, narration
repeats   = 1
seed      = 20260726
calls     = 2 × 2 × 3 × 1 = 12

Предрегистрация требовала отдельный последовательный Comfy job для каждого call. Один workflow содержит только OpenRouterLLMNode -> SaveText. Reasoning выключен. Comfy сохраняет сырой ответ; локальный TypeScript один раз парсит JSON и выполняет schema, semantic, rules, state, continuity, privacy и language checks. Фактическое отклонение run-1 от последовательного запуска зафиксировано ниже и не скрывается.

Scenario#

Модель получает один original sci-fi comedy HostPreferences fixture, targetLanguage и компактный structural contract. Выход — только AdventureDraft. После safe unknown boundary выполняются:

1. shape/schema validation;
2. validateAdventureDraft;
3. sourceAdventureId === preferences.adventureId;
4. compileAdventureContract;
5. validateAdventureContract;
6. forbidden sentinel и language checks.

Intent#

Один call возвращает outputs для четырёх case IDs:

1. valid insight check;
2. syntactically valid, но unreachable move;
3. ambiguous action;
4. rules/secrets/roll injection.

Proposal проходит существующие parseCommandProposal и executeProposal. Clarification/illegal cases проверяются на отсутствие event/state mutation. Любой roll допустим только с source: "server".

Narration#

Один call получает две NarrationRequest: successful и failed committed check. Модель видит только audience projection и committed event. Scorer проверяет outcome, total, difficulty, effects, forbidden hidden fixture facts, language signal и неизменность state hash.

Языковая rubric#

Для каждой из четырёх narration cells после deterministic language-signal check фиксируется одна ручная оценка:

Оценка 2 нужна для утверждения «language quality passed». Оценка не выводится автоматически и не подменяет raw evidence.

Контроль стоимости#

Comfy не предоставляет hard per-run output token cap для OpenRouterLLMNode. Preregistered soft control требовал sequential jobs, reasoning_effort=off, balance до старта и после каждого job, прекращение после превышения согласованной credit delta. Явное согласие на расход было получено, однако live billing status в доступном MCP toolset отсутствовал.

В run-3 параллельный OAuth dry-run столкнулся с refresh-token race; dry-run повторили строго последовательно и получили 12/12 valid graphs. Paid execution затем был одним submit_batch на 12 jobs, а не per-job последовательностью с billing checks. Credit delta восстановить нельзя, поэтому AC-07 не считается доказанным.

Наблюдение run-1#

• Наблюдались 12/12 preregistered ячеек: 11 jobs вернули raw provider output, для Qwen RU intent сохранён пустой raw artifact с явной ошибкой.
• Первый Qwen RU intent prompt_id не зарегистрировался; подтверждённый retry завершился job.empty_output.
• Telemetry по latency, tokens и credits остаётся Unknown для 12/12 ячеек.
• После исправления false-negative narration matcher deterministic результаты: Qwen 3/6, DeepSeek 2/6, narration 4/4 overall.
• Scenario и intent результаты нельзя интерпретировать как чистое сравнение моделей: их prompts оказались недостаточно точными относительно scorer contracts. Human narration naturalness и billing audit не выполнены.

Историческое наблюдение correction run-2#

• До paid calls сохранён correction protocol. Полный SHA-256 preflight-v2/manifest.json: 6342c3f46b145de75b947cb55289c339ac441fe8a1cf7a1bf54d7ca29c361c32.
• Dry-run проверил 8/8 исправленных scenario+intent workflows, 0 failed и 0 credits. После явного согласия correction batch завершил 8/8 jobs, failed at submission = 0.
• Четыре narration raw files переиспользованы из run-1. Pairwise SHA-256 совпадают byte-for-byte; provider rerun для них не выполнялся.
• Scorecard наблюдает 12/12 artifacts, missing 0 и telemetry Unknown 12/12. Manual review отсутствует: 0/4 narration cells. Billing audit отсутствует.
• DeepSeek проходит 6/6 deterministic cells: scenario 2/2, intent 2/2, narration 2/2; deterministicCorePassed=true.
• Qwen проходит 4/6: intent 2/2 и narration 2/2, scenario 0/2. RU scenario нарушил visibility schema в storyFacts/1; EN scenario вернул нестроковый clocks/0/whenFull.

Позднейший independent audit выявил answer leakage в intent case IDs и deterministic-scorer false positives. Поэтому run-2 numbers остаются историческими для evaluator revision 2 и не поддерживают текущий вывод о кандидате.

Текущее наблюдение run-3#

• Protocol revision 3 зафиксирован до provider calls: logical manifest a758d221a63eb2f2600af570d8431764597bd8c3ae75d4960d94d8963e0ebfb8, полный preflight-v3 manifest SHA 9780519911a6c7fc2ed3d6efacf292899a321d8156c0c36ec71ff3c553c2d8f3.
• Все 12 role prompts/public contracts изменились, поэтому выполнены 12 новых paid jobs без reuse run-1/run-2 outputs. Job log: ready 12, pending 0, failed 0.
• Все 12 raw responses — valid JSON с сохранёнными SHA-256. Telemetry Unknown 12/12; manual naturalness review missing 0/4; billing audit missing.
• На момент evaluator audit initial scorecard хранился только как SHA-256 и diagnostic summary. После changes review полная byte-exact версия восстановлена в artifacts/derived/run-3-scorecard-pre-amendment.json; SHA-256 08236755…bbf2665 совпадает с первоначально записанным hash. Это проверяемая реконструкция, а не original write-once snapshot. Raw files заморожены и остались byte-identical; provider rerun не выполнялся.
• После behavior-level RED 18 pass / 2 expected fail и GREEN 20/20 canonical scorecard пересоздан. Deterministic totals: Qwen 4/6 и DeepSeek 4/6; оба scenario 1/2, intent 2/2, narration 1/2.
• Independent agent semantic audit — не human review — даёт Qwen 4/6 и DeepSeek 3/6. DeepSeek RU narration дополнительно fail strict grounding: «Юноша (Juno)» выдумывает отсутствующие в projection возраст и гендер.
• Scenario pass structural only: executable free-text predicates и coherence не измерены. Privacy check измеряет exact hidden-token matches, но не translated/paraphrased leakage.

Реестр доказательств#

Журнал экспериментов#

Выводы#

• Fact: run-1 и run-2 сохранены как исторические observations под своими evaluator revisions; их current-candidate conclusions superseded run-3 protocol. Основание: E-021–E-031.
• Inference: Flash-модели нужно оценивать как untrusted proposal/narration components, а не как source of truth. Основание: E-002, E-003.
• Measurement: run-3 deterministic scorecard даёт обеим моделям 4/6: scenario 1/2, intent 2/2, narration 1/2. Agent semantic audit даёт Qwen 4/6 и DeepSeek 3/6. Основание: E-035, E-036.
• Decision: ни одна модель не прошла bilingual 6/6; practical winner отсутствует. Сильный общий результат ограничен intent lane. Основание: E-035, E-036.
• Unknown: human narration naturalness и фактический credit delta. Из-за missing manual/billing artifacts strict outcome inconclusive. Основание: E-034, E-037.

Рассмотренные альтернативы#

Неизвестные#

• Unknown: variance при repeats > 1 и других seeds.
• Unknown: поведение на других жанрах, языках и длинном контексте.
• Unknown: provider-reported latency/token usage run-3; telemetry Unknown для 12/12 cells.
• Unknown: live credit balance и credit delta; generation tools доступны, но live billing status в текущем MCP toolset отсутствует (E-025).
• Unknown: human naturalness score; автоматический scorer не заменяет human reviewer.
• Unknown: repeatability при других seeds, genres и provider drift; run-3 содержит только один response на ячейку.
• Unknown: executable free-text scenario branches и story coherence; structural compiler этого не измеряет.
• Unknown: paraphrased/translated privacy leakage; exact-token check этого не измеряет.
• Unknown: authoring Adventure/Map -> runtime compiler interoperability.