Research: DeepSeek core instrument factorial

Baseline#

Предыдущее исследование 2026-07-26-strong-llm-core-escalation завершило eight-cell screen:

• DeepSeek deterministic 4/4;
• DeepSeek semantic 3/4, total 4, один critical grounding failure;
• selector: no_eligible_candidate;
• paid finalist calls: 0.

RU scenario сам создал абсолютные immutable facts про constant 1G и запрет G<1, затем success route разрешил fluctuations/exception и всё равно объявил compliance. EN scenario той же модели получил semantic 2, поэтому capability существует, а failure локализован в cross-field semantic consistency.

Метод#

Независимые переменные#

Factorial design измеряет:

• prompt main effect: semantic-v2 против baseline-v1 внутри одинакового reasoning;
• reasoning main effect: medium против off внутри одинакового prompt;
• interaction: отличается ли combined effect от двух изолированных effects.

Матрица#

• model: deepseek/deepseek-v4-pro;
• role: scenario;
• languages: ru, en;
• seeds: 20260727, 20260728, 20260729;
• configs: четыре preregistered combinations;
• expected paid screening calls: 24.

Historical response не включается в causal comparison: он сохраняется как baseline evidence, но новый control запускается одновременно с treatments, чтобы не спутать intervention с provider drift.

Treatment delta#

semantic-v2:

1. требует совместной истинности всех story facts;
2. представляет несовместимые testimony/complaints/regulations как fact о наличии conflicting claims, а не как одновременно истинные canonical facts;
3. запрещает success через exception/waiver, противоречащий fact;
4. требует silent comparison всех facts против summaries, exits, consequences и endings;
5. не добавляет output fields и не содержит fixture-specific 1G подсказок.

Неизменные проверки#

• exact single JSON object;
• AdventureDraft shape;
• authoring validator и compiler;
• bounded structure, IDs, refs, language и content boundary;
• semantic score 0/1/2;
• critical grounding flag;
• metadata-hidden isolated review;
• selector hard gates.

Falsifiable expectations#

1. Хотя бы один treatment cell отличается от paired control по semantic score или critical flag; иначе intervention effect indistinguishable.
2. Eligible config обязан пройти все шесть cells; среднее улучшение не может скрыть единичный hard failure.
3. Любой output-format, language, boundary или deterministic regression отклоняет config независимо от semantic average.

Selection и stopping rule#

Config eligible только при:

• six observed raw responses;
• deterministic 6/6;
• semantic score ≥1 6/6;
• critical grounding failures 0.

Eligible configs ранжируются:

1. больше semantic-2 cells;
2. выше semantic score total;
3. lower intervention order: baseline-v1--off, semantic-v2--off, baseline-v1--medium, semantic-v2--medium.

Третий пункт выбирает меньшую runtime/maintenance intervention только после полного quality tie. При отсутствии eligible config confirmation запрещена.

Confirmation#

Selected scenario config проверяется на seeds 20260730–20260732. Intent/narration используют frozen baseline prompt и reasoning off. Матрица: 2 languages × 3 roles × 3 seeds = 18 calls.

Confirmation pass требует deterministic 18/18, semantic floor во всех cells и 0 critical failures. First-pass failures не скрываются repair.

Screening results#

Provider batch завершён без потерь: 24/24 jobs ready, 0 pending, 0 failed. Сохранены ровно 24 capture-authoritative raw-файла общим размером 191730 bytes. Frozen source recomputation и blind review приняли полный набор без уменьшения denominator.

semantic-v2 улучшил средние метрики, но не устранил единичные hard failures. Reasoning medium не дал deterministic main effect; положительный deterministic interaction сопровождался отрицательным semantic interaction. Frozen selector вернул no_eligible_config. В соответствии со stopping rule confirmation не запускалась: 0/18, без расхода на запрещённую ветку.

Provider не экспонировал credits, token counts, per-job latency или retry count. Эти поля записаны как null, без оценок. Возвращённый terminal batch token отличался от submitted token одним лишним дефисом в неавторитетном label последнего job; все 24 job IDs, terminal records и output records совпали exactly. Расхождение сохранено, а не исправлено постфактум.

Evidence registry#

Terminal artifact SHA-256:

Experiment log#

Unknown#

• Actual credit delta, token counts, retries и per-job latency: provider run завершён, но MCP эти поля не экспонировал; capture хранит null.
• Provider determinism при одинаковом seed hint.
• Human naturalness.
• Genre-diverse и long-session reliability.
• Достаточен ли prompt/reasoning tuning без typed FactLedger.