# DeepSeek core instrument factorial

- **Status:** `complete`
- **Outcome:** `fail`
- **Started:** 2026-07-26
- **Updated:** 2026-07-26
- **Research ID:** `2026-07-26-deepseek-core-instrument-factorial`

## Проверяемый вопрос

Может ли заранее зафиксированная комбинация genre-neutral semantic-invariant
prompt и `reasoning_effort` повысить надёжность
`deepseek/deepseek-v4-pro` на bilingual scenario authoring, не меняя
AdventureDraft schema, deterministic scorer, semantic rubric или hard gates, а
затем пройти независимую all-role confirmation?

## Почему решение нужно сейчас

Предыдущее stronger-model исследование завершило 8/8 calls, но не выбрало
finalist. DeepSeek прошёл deterministic `4/4`; единственный hard blocker был
локализован в RU scenario, где mutually incompatible immutable facts
сосуществовали с success route. При этом run использовал
`reasoning_effort=off`. До перехода к более дорогим frontier-моделям нужно
измерить, является ли ограничением модель или instrument вокруг неё.

## Scope

- Exact model ID: `deepseek/deepseek-v4-pro`.
- Factorial screening:
  `2 prompt variants × 2 reasoning modes × 2 languages × 3 seeds = 24 calls`.
- Prompt variants:
  - `baseline-v1`: frozen Flash/strong scenario prompt;
  - `semantic-v2`: только один genre-neutral silent consistency block.
- Reasoning modes: `off` и `medium`.
- Screening role: scenario only, потому что это единственный prior hard
  blocker.
- Conditional confirmation:
  `1 selected config × 2 languages × 3 roles × 3 held-out seeds = 18 calls`.
- Intent и narration в confirmation сохраняют frozen baseline prompt и
  reasoning `off`; выбранный config применяется только к scenario lane.
- Один `OpenRouterLLMNode → SaveText` call на workflow.

## Non-goals

- Ослабление strict JSON, shape, compilation, language, content, grounding,
  privacy или semantic gates.
- Специальные подсказки про `1G`, gravity или конкретный прошлый ответ.
- Retry/repair pass, best-of-N, majority vote или post-hoc prompt edit.
- Сравнение с closed frontier-моделями.
- Доказательство качества в любом жанре, на любом языке или в long campaign.
- Передача LLM authority над validation, rules, RNG, state или event log.

## Критерии успеха

Все критерии зафиксированы до первого paid call.

| ID | Обязательный критерий | Порог или ожидаемое поведение | Способ проверки |
|---|---|---|---|
| AC-01 | Frozen factorial protocol | Manifest, prompt delta, seeds, model, reasoning values, scorer и rubric hashes сохранены до paid calls; historical artifacts не меняются | `protocol-v2.json`, identity, canonical preflight audit, TypeScript tests |
| AC-02 | Полный screening transport | Ровно 24 unique cells, 24 terminal jobs, 24 capture-authoritative raw byte artifacts и request/workflow/job/raw/telemetry bindings | capture-v1, transport-v2, fresh source recomputation |
| AC-03 | Неизменные gates | Каждая cell проходит тот же frozen deterministic scorer и тот же metadata-hidden semantic rubric | scorecard, isolated semantic review, verified join |
| AC-04 | Измеримые main effects | Отдельно вычислены prompt effect, reasoning effect и interaction по deterministic pass, semantic-2 count, semantic total и critical failures | factorial analysis artifact |
| AC-05 | Preregistered config selection | Eligible только при deterministic `6/6`, semantic score ≥1 `6/6`, critical failures `0`; ranking: semantic-2 count, semantic total, lower intervention order | selector tests и selection artifact |
| AC-06 | Conditional all-role confirmation | Только selected eligible config; ровно 18 новых held-out cells; все deterministic pass, semantic ≥1, critical failures `0` | confirmation preflight/raw/scorecard/review |
| AC-07 | Auditable provider boundary | Model, prompt, reasoning, seed, workflow, job и raw SHA binding; доступные credits/tokens/latency/retries записаны, недоступные явно `null`/Unknown; секретов нет | telemetry и artifact audit |

Outcome:

- `pass`: AC-01–AC-07 выполнены и confirmation проходит `18/18`;
- `partial`: screening выбирает eligible config, но all-role confirmation не
  проходит;
- `fail`: полный screening завершён, но ни один config не eligible, даже если
  средние factorial effects полезны;
- `inconclusive`: missing/ambiguous transport, raw или review evidence не
  позволяет применить selector.

## Рабочие гипотезы

- **H-01, prompt main effect:** `semantic-v2` уменьшит contradictions против
  `baseline-v1` при одинаковом reasoning, языке и seed hint.
- **H-02, reasoning main effect:** `medium` уменьшит contradictions против
  `off` при одинаковом prompt, языке и seed hint.
- **H-03, interaction:** `semantic-v2--medium` даст качество выше суммы
  изолированных улучшений либо покажет, что один intervention избыточен.
- **H-04, reliability:** выбранный config сохранит результат на 18 новых
  all-role cells без изменения authority boundary.

## Материалы

- [Исследование и evidence log](RESEARCH.md)
- [Техническое решение и запуск](SOLUTION.md)
- [Проверка и итог](VALIDATION.md)
- [`prototype/`](prototype/) — frozen matrix, prompt composition, workflows,
  capture/transport binding, fresh source recomputation, blind semantic packet,
  scorer, selector и source-bound finalization
- [`artifacts/`](artifacts/) — protocol, preflights, jobs, raw responses и
  derived evidence

## Итог

Screening завершён полностью: `24/24` terminal jobs, `24/24` exact raw
responses, `0` provider failures. Frozen scorer и независимый metadata-hidden
review применены без client-side resubmit, repair или изменения gates.

Ни один config не выполнил all-cell порог. Лучший deterministic результат у
`semantic-v2--medium`: `5/6`, но semantic floor пройден только в `4/6`, с
двумя critical grounding failures. Selector вернул
`no_eligible_config`, поэтому preregistered confirmation не запускалась.

Инструменты дали полезный, но недостаточный causal signal: `semantic-v2`
повысил deterministic pass rate с `7/12` до `9/12`, semantic mean на `0.417`
и снизил critical-failure rate с `8/12` до `4/12`. `medium` не изменил
deterministic pass rate (`8/12` против `8/12`), хотя повысил semantic mean на
`0.25`. Outcome остаётся `fail`, потому что среднее улучшение не заменяет
обязательные `6/6`.

## Ограничения

Seed у OpenRouter является provider hint, а не гарантией bit-for-bit
воспроизводимости. Одна sci-fi comedy fixture не доказывает genre diversity.
Independent agent semantic review не заменяет human naturalness review.

## Следующее решение

Не переносить prompt/reasoning policy в production и не запускать
confirmation задним числом. Следующее отдельное исследование должно проверить
typed FactLedger либо bounded repair, сохранив текущие raw artifacts, scorer и
hard gates как неизменный baseline.