RnD · Линия доказательств Technical R&D
Каталог и оглавление
TECH.IDX RnD/technical/2026-07-26-deepseek-core-instrument-factorial/README.md raw.md ->

DeepSeek core instrument factorial

  • Status: complete
  • Outcome: fail
  • Started: 2026-07-26
  • Updated: 2026-07-26
  • Research ID: 2026-07-26-deepseek-core-instrument-factorial

Проверяемый вопрос#

Может ли заранее зафиксированная комбинация genre-neutral semantic-invariant prompt и reasoning_effort повысить надёжность deepseek/deepseek-v4-pro на bilingual scenario authoring, не меняя AdventureDraft schema, deterministic scorer, semantic rubric или hard gates, а затем пройти независимую all-role confirmation?

Почему решение нужно сейчас#

Предыдущее stronger-model исследование завершило 8/8 calls, но не выбрало finalist. DeepSeek прошёл deterministic 4/4; единственный hard blocker был локализован в RU scenario, где mutually incompatible immutable facts сосуществовали с success route. При этом run использовал reasoning_effort=off. До перехода к более дорогим frontier-моделям нужно измерить, является ли ограничением модель или instrument вокруг неё.

Scope#

  • Exact model ID: deepseek/deepseek-v4-pro.
  • Factorial screening: 2 prompt variants × 2 reasoning modes × 2 languages × 3 seeds = 24 calls.
  • Prompt variants:
    • baseline-v1: frozen Flash/strong scenario prompt;
    • semantic-v2: только один genre-neutral silent consistency block.
  • Reasoning modes: off и medium.
  • Screening role: scenario only, потому что это единственный prior hard blocker.
  • Conditional confirmation: 1 selected config × 2 languages × 3 roles × 3 held-out seeds = 18 calls.
  • Intent и narration в confirmation сохраняют frozen baseline prompt и reasoning off; выбранный config применяется только к scenario lane.
  • Один OpenRouterLLMNode → SaveText call на workflow.

Non-goals#

  • Ослабление strict JSON, shape, compilation, language, content, grounding, privacy или semantic gates.
  • Специальные подсказки про 1G, gravity или конкретный прошлый ответ.
  • Retry/repair pass, best-of-N, majority vote или post-hoc prompt edit.
  • Сравнение с closed frontier-моделями.
  • Доказательство качества в любом жанре, на любом языке или в long campaign.
  • Передача LLM authority над validation, rules, RNG, state или event log.

Критерии успеха#

Все критерии зафиксированы до первого paid call.

ID Обязательный критерий Порог или ожидаемое поведение Способ проверки
AC-01 Frozen factorial protocol Manifest, prompt delta, seeds, model, reasoning values, scorer и rubric hashes сохранены до paid calls; historical artifacts не меняются protocol-v2.json, identity, canonical preflight audit, TypeScript tests
AC-02 Полный screening transport Ровно 24 unique cells, 24 terminal jobs, 24 capture-authoritative raw byte artifacts и request/workflow/job/raw/telemetry bindings capture-v1, transport-v2, fresh source recomputation
AC-03 Неизменные gates Каждая cell проходит тот же frozen deterministic scorer и тот же metadata-hidden semantic rubric scorecard, isolated semantic review, verified join
AC-04 Измеримые main effects Отдельно вычислены prompt effect, reasoning effect и interaction по deterministic pass, semantic-2 count, semantic total и critical failures factorial analysis artifact
AC-05 Preregistered config selection Eligible только при deterministic 6/6, semantic score ≥1 6/6, critical failures 0; ranking: semantic-2 count, semantic total, lower intervention order selector tests и selection artifact
AC-06 Conditional all-role confirmation Только selected eligible config; ровно 18 новых held-out cells; все deterministic pass, semantic ≥1, critical failures 0 confirmation preflight/raw/scorecard/review
AC-07 Auditable provider boundary Model, prompt, reasoning, seed, workflow, job и raw SHA binding; доступные credits/tokens/latency/retries записаны, недоступные явно null/Unknown; секретов нет telemetry и artifact audit

Outcome:

  • pass: AC-01–AC-07 выполнены и confirmation проходит 18/18;
  • partial: screening выбирает eligible config, но all-role confirmation не проходит;
  • fail: полный screening завершён, но ни один config не eligible, даже если средние factorial effects полезны;
  • inconclusive: missing/ambiguous transport, raw или review evidence не позволяет применить selector.

Рабочие гипотезы#

  • H-01, prompt main effect: semantic-v2 уменьшит contradictions против baseline-v1 при одинаковом reasoning, языке и seed hint.
  • H-02, reasoning main effect: medium уменьшит contradictions против off при одинаковом prompt, языке и seed hint.
  • H-03, interaction: semantic-v2--medium даст качество выше суммы изолированных улучшений либо покажет, что один intervention избыточен.
  • H-04, reliability: выбранный config сохранит результат на 18 новых all-role cells без изменения authority boundary.

Материалы#

Итог#

Screening завершён полностью: 24/24 terminal jobs, 24/24 exact raw responses, 0 provider failures. Frozen scorer и независимый metadata-hidden review применены без client-side resubmit, repair или изменения gates.

Ни один config не выполнил all-cell порог. Лучший deterministic результат у semantic-v2--medium: 5/6, но semantic floor пройден только в 4/6, с двумя critical grounding failures. Selector вернул no_eligible_config, поэтому preregistered confirmation не запускалась.

Инструменты дали полезный, но недостаточный causal signal: semantic-v2 повысил deterministic pass rate с 7/12 до 9/12, semantic mean на 0.417 и снизил critical-failure rate с 8/12 до 4/12. medium не изменил deterministic pass rate (8/12 против 8/12), хотя повысил semantic mean на 0.25. Outcome остаётся fail, потому что среднее улучшение не заменяет обязательные 6/6.

Ограничения#

Seed у OpenRouter является provider hint, а не гарантией bit-for-bit воспроизводимости. Одна sci-fi comedy fixture не доказывает genre diversity. Independent agent semantic review не заменяет human naturalness review.

Следующее решение#

Не переносить prompt/reasoning policy в production и не запускать confirmation задним числом. Следующее отдельное исследование должно проверить typed FactLedger либо bounded repair, сохранив текущие raw artifacts, scorer и hard gates как неизменный baseline.