Login
Back to Blog
中文Comparison

Kimi K3 对比 GPT-5.6-SOL:数学、物理与编程高难度实测

在同一 OpenAI-compatible API 和同一提示词下,对 kimi-k3 与 gpt-5.6-sol 进行模式停止时间、带滑轮转动惯量的物理题和依赖闭包编程题测试,记录正确性、截断、延迟与本地代码验证。

C
Crazyrouter Team
July 17, 2026 / 1 views
Share:
Kimi K3 对比 GPT-5.6-SOL:数学、物理与编程高难度实测

Kimi K3 对比 GPT-5.6-SOL:数学、物理与编程高难度实测#

这次不测简单问答,而是固定三道需要连续推理的题:带模式重叠和二阶矩的概率题、带滑轮转动惯量与绳松弛切换的物理题,以及依赖闭包、多日容量和三层 tie-break 的 Python 题。两个模型使用同一接口、同一提示词和相近的输出上限,不启用工具和联网。

先给结论:

  • gpt-5.6-sol 在三道题上都拿到了完整可见回答,数学和物理的参考结果正确。
  • kimi-k3 在首轮 6500 token 上限下,数学和物理都以 finish_reason=length 结束,可见答案为空;数学题把上限提高到 10000 后仍然截断。编程题则在约 245 秒后读超时。
  • GPT-5.6-SOL 的编程实现通过了独立补充的依赖闭包、容量、tie-break、非法依赖和循环依赖检查,但它自己附带的第一条断言样例有预期值错误。这说明“代码主体正确”和“示例测试全对”需要分开验收。

本文的延迟是本次请求的观测值,不代表固定 SLA。首轮并发请求中 GPT 的数学和物理请求收到过 HTTP 408,随后改为顺序重试;因此速度只用于观察调用体验,不用于宣称绝对排名。

测试设置#

测试时间为北京时间 2026-07-172026-07-18,接口为:

text
POST https://cn.crazyrouter.com/v1/chat/completions
model: kimi-k3 / gpt-5.6-sol
temperature: 0.2

第一轮统一使用:数学和物理 max_tokens=6500,编程 max_tokens=7500。每道题都要求模型给出可复核推导或可运行代码,并记录 finish_reason、completion/reasoning token、请求延迟、数值正确性和代码能否在 Python 3.11 中独立运行。

结果总表#

任务kimi-k3gpt-5.6-sol判定
数学:HHTH 的期望与方差length,186.98 s,6500 tokens;可见内容为空顺序重试 stop,236.07 s,6872 tokensGPT 完整作答;Kimi 首轮未形成答案
物理:滑轮、碰地、弹簧length,202.05 s,6500 tokens;可见内容为空顺序重试 stop,156.29 s,4501 tokensGPT 完整且数值正确
编程:依赖闭包背包245.54 s 后 TimeoutErrorstop,87.96 s,4514 tokensGPT 代码可运行;Kimi 未返回完整代码
Kimi 数学复测length,286.99 s,10000 tokens增加预算仍未结束

Kimi 的数学和物理请求中,接口报告的 reasoning token 分别接近 6497;数学复测的 reasoning token 接近 9997。这不是说 Kimi 没有推理能力,而是说明在本题提示词和当前路由下,推理预算很容易被耗尽,调用方拿不到最终答案。

数学题:模式重叠不仅影响期望,也影响方差#

题目是:正面概率 p=3/5、反面概率 q=2/5,不断投掷直到第一次出现 HHTH,允许模式重叠,求 E[T]Var(T)

正确的前缀自动机状态为 S0=空前缀S1=HS2=HHS3=HHTS4=HHTH(吸收态)。关键转移是 S2 --H--> S2:已有 HH 后再次出现 H,最长后缀仍是 HH,不能错误地退回空状态。

GPT-5.6-SOL 建立的一阶矩方程为:

text
M0 = 1 + p M1 + q M0
M1 = 1 + p M2 + q M0
M2 = 1 + p M2 + q M3
M3 = 1 + q M0

继续建立二阶矩方程,得到:

text
E[T]   = 715/54       ≈ 13.2407407407
E[T²]  = 195335/729   ≈ 267.9492455418
Var(T) = 270115/2916  ≈ 92.6320301783

期望还可用边界公式独立复核。HHTH 的非空真边界是单字符 H,所以 E[T] = 1/p + 1/(p³q) = 715/54。GPT 的完整回答同时覆盖了状态转移、二阶矩展开和 sanity check。Kimi 在 650010000 上限下都没有输出可见推导,因此本轮无法对其数学正确性打分,只能记录为“预算内未完成”。

物理题:碰地后约束断开,不能继续套同一套能量方程#

题目设置为:m_A=4.0 kg 位于 25° 粗糙斜面,μ_k=0.18m_B=3.0 kg 悬挂;滑轮 M_p=1.2 kgR=0.10 m;B 下降 1.50 m 后碰地,绳立即松弛;A 再上滑 0.10 m 接触 k=250 N/m 弹簧;g=9.8 m/s²

碰地前,绳绷紧且无滑动,滑轮的等效惯性质量为 I/R²=(1/2)M_p=0.60 kg。联立两块物体和滑轮转动方程,得到:

text
a  ≈ 0.847 m/s²
v1 ≈ 1.59 m/s
v2 ≈ 1.18 m/s
x  ≈ 0.0835 m = 8.35 cm

碰地后,B 的速度被地面碰撞改变,A 仍有沿斜面向上的速度,滑轮也可能继续转动;题目又明确绳立即松弛,所以不能继续使用 v_A=v_B=Rω。后续应只分析 A:

text
v2² = v1² - 2g(sinθ + μ_k cosθ)d
1/2 m_A v2² = 1/2 kx² + m_A g(sinθ + μ_k cosθ)x

GPT-5.6-SOL 还检查了量纲、无弹簧停止距离以及弹簧能量与摩擦/重力损失之和,数值自洽。Kimi 在首轮没有形成可见答案,因此无法比较中间建模质量。

编程题:算法主体通过独立检查,但模型自带样例有 bug#

编程题要求实现 optimize_release_plan(items, capacity_by_day, dependencies),处理每天容量、未配置日期容量为 0、直接和间接依赖闭包、非法依赖与循环检测,以及 value → risk → 排序后的 id 列表 三层 tie-break。items <= 18,所以 bitmask 穷举是合理基线。

GPT-5.6-SOL 使用依赖闭包缓存和 2^n 子集枚举。我们把代码提取出来,在 Python 3.11 中做了独立检查:依赖闭包、多日容量样例、value/risk/id 三层 tie-break、未配置日期容量、不存在依赖和循环依赖,共 6 组检查全部通过。

但模型在代码末尾附带的第一条断言失败:它写的是 A -> B -> C,同时还放入了价值为 11 的 X。在给定容量下,B + C + X 的总价值为 13,高于 A + B + C 的 12,因此函数返回 ['B', 'C', 'X'] 才是正确的,断言写成 ['A', 'B', 'C'] 是测试夹具错误。

这个细节很有代表性:代码题不能只看函数主体,也不能因为“附带了 8 个断言”就默认测试可信。模型生成的测试数据同样需要人工或参考实现复核。Kimi K3 的编程请求在约 245 秒后读超时,未能拿到完整代码。

综合评价#

维度kimi-k3gpt-5.6-sol
数学完整性6500/10000 token 均截断,无法验收期望、二阶矩、方差和 sanity check 完整
物理建模首轮截断正确处理滑轮惯性、绳松弛和弹簧阶段
编程交付本轮超时代码主体通过独立检查,但自带一条错误断言
输出稳定性高 reasoning 占用,容易拿不到可见答案三道题顺序重试均 stop
响应速度约 187–246 s,且有截断/超时成功请求约 88–236 s;并发首轮有 408

更准确的结论不是“某个模型绝对更聪明”,而是:

  1. 在本次路由和预算下,GPT-5.6-SOL 更容易把复杂推理收束成最终答案,适合需要立即拿到可读推导或代码的工作流。
  2. Kimi K3 的主要问题是推理预算和可见输出之间的转换效率;即使数学题提高到 10000 token,仍未结束。
  3. GPT-5.6-SOL 的代码也不能盲信。它的函数逻辑通过了独立检查,但随附测试夹具存在价值计算错误。
  4. 对生产选型,应该同时记录 finish_reason、reasoning token、延迟和本地测试结果,不能只看最终一句“答案正确”。

复现实验#

本次测试脚本和顺序重试结果保存在(并发首轮的摘要也已写入脚本输出):

text
.tmp/kimi_k3_vs_gpt56sol_test.py
.tmp/kimi-k3-vs-gpt56sol-results.json
.tmp/retry-gpt56sol-math.json
.tmp/retry-gpt56sol-physics.json
.tmp/retry-gpt56sol-programming.json
.tmp/retry-kimi-k3-math.json

复测时建议固定模型 ID、提示词、temperature、max_tokens 和并发度,并把每次输出另存为独立文件。上游渠道负载、缓存命中和限流状态都会影响延迟;本文把 HTTP 408、length 和读超时都作为测试结果的一部分记录,而没有将其隐去。

Implementation Guides

Topics

Comparison

Related Posts

GLM-5.2 vs Claude Fable 5 实测:真正的差异在输出预算和可见结果Comparison

GLM-5.2 vs Claude Fable 5 实测:真正的差异在输出预算和可见结果

基于 Crazyrouter OpenAI-compatible API 的真实测试,对比 glm-5.2 与 claude-fable-5 在数学推理、物理综合题和 Canvas 动画长代码任务中的表现,重点分析 max_tokens、reasoning_tokens、finish_reason、可见正文为空和浏览器验证结果。

Jul 6
Claude Fable 5 vs GPT-5.5:一次 max_tokens 误判如何改变模型对比结论Comparison

Claude Fable 5 vs GPT-5.5:一次 max_tokens 误判如何改变模型对比结论

基于 Crazyrouter OpenAI-compatible API 的真实测试,比较 claude-fable-5 与 gpt-5.5 在数学推理、物理综合题和 Canvas 动画长代码任务中的表现,重点复盘 finish_reason=length、completion_tokens 打满和浏览器验证如何影响模型对比结论。

Jul 6
Gemini 2.5 Flash Lite vs GPT 4.1 Mini:图片理解 API 实测对比(Crazyrouter Base URL)Comparison

Gemini 2.5 Flash Lite vs GPT 4.1 Mini:图片理解 API 实测对比(Crazyrouter Base URL)

本文用 Crazyrouter OpenAI 兼容接口实测 gemini-2.5-flash-lite 与 gpt-4.1-mini 的图片理解表现,比较识别准确率、延迟、价格、usage 信号和生产选型建议。

Jun 21
GPT-4.1 Mini vs GPT-4.1 Nano:图片理解 API 实测对比(Crazyrouter Base URL)Comparison

GPT-4.1 Mini vs GPT-4.1 Nano:图片理解 API 实测对比(Crazyrouter Base URL)

本文用 Crazyrouter OpenAI 兼容接口实测 gpt-4.1-mini 与 gpt-4.1-nano 的图片理解表现,比较识别准确率、延迟、价格和生产选型建议。

Jun 21
GPT-4.1 Nano vs Qwen3 VL Plus:图片理解 API 实测对比(Crazyrouter Base URL)Comparison

GPT-4.1 Nano vs Qwen3 VL Plus:图片理解 API 实测对比(Crazyrouter Base URL)

本文用 Crazyrouter OpenAI 兼容接口实测 gpt-4.1-nano 与 qwen3-vl-plus 的图片理解表现,比较识别准确率、延迟、价格和生产选型建议。

Jun 21
GPT-5.6-sol vs GPT-5.5 实测:数学、物理与双摆动画代码对比Comparison

GPT-5.6-sol vs GPT-5.5 实测:数学、物理与双摆动画代码对比

基于 Crazyrouter OpenAI-compatible API 的真实模型对比测试:用偏置硬币等待 HTHT、实心圆柱滚动压缩弹簧、双摆混沌 Canvas 动画三道较难题,对比 gpt-5.6-sol 与 gpt-5.5 的正确性、finish_reason、reasoning_tokens、可见输出和浏览器验证结果。

Jul 10