怎么测试 GPT 是“满血”还是“残血”？
先把问题改写成可验证的目标：同一个模型、同一组输入，在两个接口或两次配置下，是否稳定满足相同要求？保留原始请求、模型 ID、参数、日期、响应和 usage，比一句“它看起来变笨了”更便于定位原因。
- 固定提示词、系统指令和历史上下文，避免一个接口带隐藏提示而另一个没有。
- 尽可能对齐模型版本、协议、推理设置、温度与最大输出长度；不支持的参数要明确记录。
- 使用多个与你的业务相关的任务，并重复测试。单次输出具有随机性。
- 同时观察正确性、格式遵循、完整性、延迟、费用与错误码，不只看回答长短。
鹈鹕骑自行车 SVG 测试在测什么？
模型竞技场包含鹈鹕骑车 SVG 动画任务。页面检查 SVG 是否完整可解析、是否符合安全约束、是否包含动画声明，以及可见文本中是否出现本次校验码。你还需要人工检查画面：出现动画代码不等于视觉效果正确，规则通过也不代表模型在其他任务上更强。
糖果题为什么不能单独鉴定模型？
另一个探针是抽屉原理相关的糖果题。当前自动检查只匹配回答中的独立数字 21，并不是推理过程的语义评分。熟悉题目的模型可能直接给出答案，答对这道题不能证明使用的是哪个模型；答错一次也不能直接认定服务商降级。
看起来“降智”的常见原因
| 现象 | 先检查什么 |
|---|---|
| 回答突然很短或代码不完整 | 输出上限、停止原因、推理预算、网关超时 |
| 忘记前文要求 | 实际提交的历史消息、上下文截断、摘要策略 |
| 同题不同答案 | 随机性、采样参数、模型版本与重复次数 |
| 工具调用或 JSON 不稳定 | 协议兼容性、工具 schema、响应格式参数 |
| 等待很久后失败 | 限流、超时、服务负载和首字节时间 |
API 中转质量应该怎样比较？
在允许跨域的接口上，用自己的 API Key 提交同一组请求。每次运行可能计费，页面不提供共享密钥。比较原始响应与用量，记录错误和超时，不应只保留好看的样本。对于涉及真实客户的任务，请先用脱敏数据进行复现。
竞技场公开了提示词、检查方法和有日期的样例。它适合做接口排查与可复现对比，不提供“百分之百鉴定官方模型”的结论。高风险判断应结合服务商文档、可用的模型版本信息与多任务评估。