Kimi K3 против Claude Fable 5: точность проверки, обрезка кода и задержка API

Kimi K3 против Claude Fable 5: точность проверки, обрезка кода и задержка API#

Для продакшена недостаточно знать, что модель получила правильный итог. Важно проверить промежуточные значения, полноту кода и причину остановки ответа. Именно на этих рисках построен тест.

Главный компромисс#

Средняя задержка Fable 5 составила 37,1 секунды, Kimi K3 — 108,0 секунды. При этом Kimi K3 дал более согласованную математическую проверку, а Fable 5 допустил ошибку в промежуточных состояниях.

Краткие результаты#

Средняя задержка — Kimi K3: 108.0 s
Средняя задержка — Claude Fable 5: 37.1 s

Код: лимит 4000 токенов оказался недостаточным#

Python-функция должна была объединять повторы по request_id, разбирать ISO-8601, фильтровать полуинтервал [start,end), считать token и задержку и выполнять многоуровневую сортировку.

Round 1, max_tokens=4000:
Kimi K3 finish_reason=length
Fable 5 finish_reason=length

Retry, max_tokens=7000:
Kimi K3: 145.2 s, 5199 completion tokens, 8/8 assertions
Fable 5: 46.6 s, 3710 completion tokens, 8/8 assertions

При max_tokens=4000 обе модели завершились с length. После увеличения до 7000 обе программы прошли восемь одинаковых проверок Python.

Математика: правильный итог не гарантирует правильную проверку#

В задаче о смещённой монете требовалось найти ожидаемое число бросков до первого HHTH при P(H)=3/5 с перекрытиями. Правильный результат:

E[T] = 715/54 ≈ 13.2407407407
E1 = 625/54
E2 = 475/54
E3 = 170/27

Kimi K3 сверил автомат состояний, формулу границ шаблона и частный случай честной монеты. Fable 5 получил правильную дробь, но два промежуточных значения не удовлетворяли его же уравнениям.

Методика#

Test date: 2026-07-17
Base URL: https://cn.crazyrouter.com/v1
Endpoint: POST /v1/chat/completions
Models: kimi-k3, claude-fable-5
temperature: 0.2
Round 1 max_tokens: 4000
Coding retry max_tokens: 7000

Обе модели получили одинаковые промпты и критерии приёмки. HTTP 200 не считался достаточным: проверялись итоговые значения, промежуточные состояния, finish_reason, исполняемый Python и одинаковые assertions.

Физика: обе модели разделили этапы корректно#

Физическая задача состояла из неупругого столкновения, трения и сжатия пружины. Обе модели получили:

Post-collision speed: 2.4 m/s
Energy lost in collision: 21.6 J
Maximum compression: about 0.2212 m

Обе модели получили сжатие пружины около 0,2212 м и единственный график Eli, Bo, Ada, Cici, Deng.

Что означают reasoning tokens#

Kimi K3 completion tokens: 13,975
Kimi K3 reasoning tokens: about 12,500
Fable 5 completion tokens: 10,187

Kimi K3 сообщил примерно 12 500 reasoning tokens. Дополнительная проверка сопровождалась большей задержкой и меньшим запасом для видимого кода.

Логика ограничений: одинаковое единственное решение#

Обе модели нашли одно и то же единственное расписание по дням недели:

Обе модели получили сжатие пружины около 0,2212 м и единственный график Eli, Bo, Ada, Cici, Deng.

Практическая маршрутизация#

• Для массового проверяемого кода сначала тестировать Fable 5
• Для точных математических выводов оставлять Kimi K3
• Всегда проверять finish_reason и запускать код

Ограничения эксперимента#

Это небольшой эксперимент, а не универсальный рейтинг. Для продакшена каждую категорию следует повторить 20–50 раз и измерить успешность, долю обрезанных ответов, время до первого token, P50/P95/P99, completion tokens и стоимость принятого результата.

Вывод#

В этом тесте Fable 5 был быстрым маршрутом доставки, а Kimi K3 — более осторожным маршрутом математической проверки.

from openai import OpenAI

client = OpenAI(api_key="YOUR_API_KEY", base_url="https://cn.crazyrouter.com/v1")
response = client.chat.completions.create(
    model="kimi-k3",
    temperature=0.2,
    max_tokens=4000,
    messages=[{"role": "user", "content": "YOUR_TEST_PROMPT"}],
)
print(response.model, response.choices[0].finish_reason, response.usage)

Полная статья: https://crazyrouter.com/ru/blog/kimi-k3-vs-claude-fable-5-hard-reasoning-benchmark-2026-ru

API: https://crazyrouter.com/register?utm_source=crazyrouter_blog&utm_medium=article&utm_campaign=kimi_k3_fable5_multilingual_20260718&utm_content=kimi-k3-vs-claude-fable-5-hard-reasoning-benchmark-2026-ru__body_cta&utm_term=kimi-k3+claude-fable-5+benchmark