Kimi K3 对比 GPT-5.6-SOL:数学、物理与编程高难度实测
在同一 OpenAI-compatible API 和同一提示词下,对 kimi-k3 与 gpt-5.6-sol 进行模式停止时间、带滑轮转动惯量的物理题和依赖闭包编程题测试,记录正确性、截断、延迟与本地代码验证。

Kimi K3 对比 GPT-5.6-SOL:数学、物理与编程高难度实测#
这次不测简单问答,而是固定三道需要连续推理的题:带模式重叠和二阶矩的概率题、带滑轮转动惯量与绳松弛切换的物理题,以及依赖闭包、多日容量和三层 tie-break 的 Python 题。两个模型使用同一接口、同一提示词和相近的输出上限,不启用工具和联网。
先给结论:
gpt-5.6-sol在三道题上都拿到了完整可见回答,数学和物理的参考结果正确。kimi-k3在首轮6500token 上限下,数学和物理都以finish_reason=length结束,可见答案为空;数学题把上限提高到10000后仍然截断。编程题则在约 245 秒后读超时。- GPT-5.6-SOL 的编程实现通过了独立补充的依赖闭包、容量、tie-break、非法依赖和循环依赖检查,但它自己附带的第一条断言样例有预期值错误。这说明“代码主体正确”和“示例测试全对”需要分开验收。
本文的延迟是本次请求的观测值,不代表固定 SLA。首轮并发请求中 GPT 的数学和物理请求收到过 HTTP 408,随后改为顺序重试;因此速度只用于观察调用体验,不用于宣称绝对排名。
测试设置#
测试时间为北京时间 2026-07-17 至 2026-07-18,接口为:
POST https://cn.crazyrouter.com/v1/chat/completions
model: kimi-k3 / gpt-5.6-sol
temperature: 0.2
第一轮统一使用:数学和物理 max_tokens=6500,编程 max_tokens=7500。每道题都要求模型给出可复核推导或可运行代码,并记录 finish_reason、completion/reasoning token、请求延迟、数值正确性和代码能否在 Python 3.11 中独立运行。
结果总表#
| 任务 | kimi-k3 | gpt-5.6-sol | 判定 |
|---|---|---|---|
| 数学:HHTH 的期望与方差 | length,186.98 s,6500 tokens;可见内容为空 | 顺序重试 stop,236.07 s,6872 tokens | GPT 完整作答;Kimi 首轮未形成答案 |
| 物理:滑轮、碰地、弹簧 | length,202.05 s,6500 tokens;可见内容为空 | 顺序重试 stop,156.29 s,4501 tokens | GPT 完整且数值正确 |
| 编程:依赖闭包背包 | 245.54 s 后 TimeoutError | stop,87.96 s,4514 tokens | GPT 代码可运行;Kimi 未返回完整代码 |
| Kimi 数学复测 | length,286.99 s,10000 tokens | — | 增加预算仍未结束 |
Kimi 的数学和物理请求中,接口报告的 reasoning token 分别接近 6497;数学复测的 reasoning token 接近 9997。这不是说 Kimi 没有推理能力,而是说明在本题提示词和当前路由下,推理预算很容易被耗尽,调用方拿不到最终答案。
数学题:模式重叠不仅影响期望,也影响方差#
题目是:正面概率 p=3/5、反面概率 q=2/5,不断投掷直到第一次出现 HHTH,允许模式重叠,求 E[T] 和 Var(T)。
正确的前缀自动机状态为 S0=空前缀、S1=H、S2=HH、S3=HHT、S4=HHTH(吸收态)。关键转移是 S2 --H--> S2:已有 HH 后再次出现 H,最长后缀仍是 HH,不能错误地退回空状态。
GPT-5.6-SOL 建立的一阶矩方程为:
M0 = 1 + p M1 + q M0
M1 = 1 + p M2 + q M0
M2 = 1 + p M2 + q M3
M3 = 1 + q M0
继续建立二阶矩方程,得到:
E[T] = 715/54 ≈ 13.2407407407
E[T²] = 195335/729 ≈ 267.9492455418
Var(T) = 270115/2916 ≈ 92.6320301783
期望还可用边界公式独立复核。HHTH 的非空真边界是单字符 H,所以 E[T] = 1/p + 1/(p³q) = 715/54。GPT 的完整回答同时覆盖了状态转移、二阶矩展开和 sanity check。Kimi 在 6500 和 10000 上限下都没有输出可见推导,因此本轮无法对其数学正确性打分,只能记录为“预算内未完成”。
物理题:碰地后约束断开,不能继续套同一套能量方程#
题目设置为:m_A=4.0 kg 位于 25° 粗糙斜面,μ_k=0.18;m_B=3.0 kg 悬挂;滑轮 M_p=1.2 kg、R=0.10 m;B 下降 1.50 m 后碰地,绳立即松弛;A 再上滑 0.10 m 接触 k=250 N/m 弹簧;g=9.8 m/s²。
碰地前,绳绷紧且无滑动,滑轮的等效惯性质量为 I/R²=(1/2)M_p=0.60 kg。联立两块物体和滑轮转动方程,得到:
a ≈ 0.847 m/s²
v1 ≈ 1.59 m/s
v2 ≈ 1.18 m/s
x ≈ 0.0835 m = 8.35 cm
碰地后,B 的速度被地面碰撞改变,A 仍有沿斜面向上的速度,滑轮也可能继续转动;题目又明确绳立即松弛,所以不能继续使用 v_A=v_B=Rω。后续应只分析 A:
v2² = v1² - 2g(sinθ + μ_k cosθ)d
1/2 m_A v2² = 1/2 kx² + m_A g(sinθ + μ_k cosθ)x
GPT-5.6-SOL 还检查了量纲、无弹簧停止距离以及弹簧能量与摩擦/重力损失之和,数值自洽。Kimi 在首轮没有形成可见答案,因此无法比较中间建模质量。
编程题:算法主体通过独立检查,但模型自带样例有 bug#
编程题要求实现 optimize_release_plan(items, capacity_by_day, dependencies),处理每天容量、未配置日期容量为 0、直接和间接依赖闭包、非法依赖与循环检测,以及 value → risk → 排序后的 id 列表 三层 tie-break。items <= 18,所以 bitmask 穷举是合理基线。
GPT-5.6-SOL 使用依赖闭包缓存和 2^n 子集枚举。我们把代码提取出来,在 Python 3.11 中做了独立检查:依赖闭包、多日容量样例、value/risk/id 三层 tie-break、未配置日期容量、不存在依赖和循环依赖,共 6 组检查全部通过。
但模型在代码末尾附带的第一条断言失败:它写的是 A -> B -> C,同时还放入了价值为 11 的 X。在给定容量下,B + C + X 的总价值为 13,高于 A + B + C 的 12,因此函数返回 ['B', 'C', 'X'] 才是正确的,断言写成 ['A', 'B', 'C'] 是测试夹具错误。
这个细节很有代表性:代码题不能只看函数主体,也不能因为“附带了 8 个断言”就默认测试可信。模型生成的测试数据同样需要人工或参考实现复核。Kimi K3 的编程请求在约 245 秒后读超时,未能拿到完整代码。
综合评价#
| 维度 | kimi-k3 | gpt-5.6-sol |
|---|---|---|
| 数学完整性 | 6500/10000 token 均截断,无法验收 | 期望、二阶矩、方差和 sanity check 完整 |
| 物理建模 | 首轮截断 | 正确处理滑轮惯性、绳松弛和弹簧阶段 |
| 编程交付 | 本轮超时 | 代码主体通过独立检查,但自带一条错误断言 |
| 输出稳定性 | 高 reasoning 占用,容易拿不到可见答案 | 三道题顺序重试均 stop |
| 响应速度 | 约 187–246 s,且有截断/超时 | 成功请求约 88–236 s;并发首轮有 408 |
更准确的结论不是“某个模型绝对更聪明”,而是:
- 在本次路由和预算下,GPT-5.6-SOL 更容易把复杂推理收束成最终答案,适合需要立即拿到可读推导或代码的工作流。
- Kimi K3 的主要问题是推理预算和可见输出之间的转换效率;即使数学题提高到
10000token,仍未结束。 - GPT-5.6-SOL 的代码也不能盲信。它的函数逻辑通过了独立检查,但随附测试夹具存在价值计算错误。
- 对生产选型,应该同时记录
finish_reason、reasoning token、延迟和本地测试结果,不能只看最终一句“答案正确”。
复现实验#
本次测试脚本和顺序重试结果保存在(并发首轮的摘要也已写入脚本输出):
.tmp/kimi_k3_vs_gpt56sol_test.py
.tmp/kimi-k3-vs-gpt56sol-results.json
.tmp/retry-gpt56sol-math.json
.tmp/retry-gpt56sol-physics.json
.tmp/retry-gpt56sol-programming.json
.tmp/retry-kimi-k3-math.json
复测时建议固定模型 ID、提示词、temperature、max_tokens 和并发度,并把每次输出另存为独立文件。上游渠道负载、缓存命中和限流状态都会影响延迟;本文把 HTTP 408、length 和读超时都作为测试结果的一部分记录,而没有将其隐去。




