返回博客
简体中文模型对比

4 台英伟达 Spark 自部署 DeepSeek 实测:对比 Crazyrouter V4.1 Flash 1017 基线

基于 2026 年 11 月 3—4 日的历史实测,对比四台英伟达 Spark 自部署 DeepSeek 与 Crazyrouter V4.1 Flash 1017 基线,分析短长输入速度、缓存、晚间请求中断及直连与网关延迟。自部署权重版本未完成同一性验证。

C
Crazyrouter Team
2026年11月20日 / 7 次浏览
分享:
4 台英伟达 Spark 自部署 DeepSeek 实测:对比 Crazyrouter V4.1 Flash 1017 基线

四台英伟达 Spark 自部署 DeepSeek,实际调用能否接近现成 API?我们回看了 2026 年 11 月 3—4 日的测试:同轮比较中,Crazyrouter 基线输出更快;Spark 后续表现随时段明显变化,低负载和繁忙时段的体验差距很大。

在 11 月 3 日的同轮小样本测试中,Crazyrouter DeepSeek V4.1 Flash 1017 基线的短、长输入输出速度中位数分别为 147.31、136.87 token/s,四台 Spark 自部署分别为 41.46、10.02 token/s;双方均完成 6/6 次速度测试请求。1

这篇文章讨论的是部署后的调用表现:首字要等多久、流式输出有多快、重复上下文能否命中缓存,以及繁忙时段能否按测试时限完成请求。数据来自历史存档,不是 11 月 20 日重新跑出的结果,也不是当前服务状态承诺。下文时间均为北京时间。

先说明:1017 基线与 Spark 自部署是否为同一版本?#

本文涉及的模型系列可参阅 Crazyrouter DeepSeek 模型页,Spark 的产品背景可参阅 NVIDIA DGX Spark 官方页面。页面用于延伸阅读,历史性能结论以本文测试存档为准。

当时两侧请求的模型名都是 deepseek-v4.1-flash,但返回值并不完全相同:

比较对象响应中的模型名当时可以确认的范围
Crazyrouter 基线 DeepSeekdeepseek-v4.1-flash-1017响应标识带有 1017 后缀
四台 Spark 自部署 DeepSeekdeepseek-v4.1-flash检查确认四个 GB10 节点均运行推理 rank 进程

历史材料没有完整记录自部署侧的权重哈希、精确修订版本和量化配置。因此,本文将 DeepSeek V4.1 Flash 1017 明确用于描述基线的响应标识,不声称两侧已经完成相同权重验证。响应名称本身也不是独立的权重鉴定。2

搜索“英伟达 Spark deepseekv4.1flash1017 自部署”时,尤其需要区分这两件事:部署能够提供兼容接口,与已证明它运行完全相同的模型版本,是不同的验证要求。 本文比较的是当时两条实际服务路径,不是控制全部变量后的 GPU 硬件性能排名。

测试怎么做:相同入口、固定渠道、固定输出预算#

11 月 3 日的主测试通过同一个 Crazyrouter 入口调用两条固定渠道:一条通往基线服务,一条通往四台 Spark 的自部署服务。没有把其他渠道的响应混入结果,也没有在测试过程中修改渠道配置。

历史测试实际使用的地址为:

text
Base URL: https://crazyrouter.com/v1
Endpoint: POST /chat/completions
Model: deepseek-v4.1-flash

核心参数如下;这是测量设置摘录,完整请求还包含相同任务正文和用于区分轮次的前缀:

json
{
  "model": "deepseek-v4.1-flash",
  "stream": true,
  "temperature": 0,
  "max_tokens": 768,
  "thinking": { "type": "disabled" }
}

短输入为 64 token,长输入为 6,230 token,各执行三次。长输入正文重复,用于观察缓存;相邻请求在前一次结束后间隔六秒。不同渠道并行测试,同一渠道内部串行请求。

整轮历史测试包含四条渠道、26 次正式请求。本文聚焦基线与 Spark 的 12 次;另外两条渠道用于核对结果范围,单独的一次冒烟测试不参与统计。正式请求均已与消费日志核对渠道及 token 数。

所有主测试请求都输出 768 token,推理 token 为零。这里的“完成”指收到完整流式结束和用量记录;按预算结束的 finish_reason=length 符合本次测速设计。6/6 完成不是答题正确率,也不意味着模型自然完成了一个业务任务。

我们分别统计两类时间:首字等待从客户端发出请求开始计时;输出速度从首个正文块到最后一个正文块计时,再用输出 token 数除以这段时长。输出速度是客户端近似值,包含首块 token;它不包含之前的连接与排队等待。表格均取三次请求的中位数。1

同轮结果:首字相近,持续输出差距明显#

指标Crazyrouter 1017 基线四台 Spark 自部署
请求完成数6/66/6
短输入首字等待中位数3.31 秒3.25 秒
短输入输出速度中位数147.31 token/s41.46 token/s
短输入总耗时中位数9.05 秒21.78 秒
长输入首字等待中位数3.36 秒7.73 秒
长输入输出速度中位数136.87 token/s10.02 token/s
长输入总耗时中位数9.09 秒84.40 秒
最慢单次请求总耗时10.26 秒156.11 秒

同轮测试中,Crazyrouter 基线与四台 Spark 自部署的短、长输入输出速度比较

图 1:2026 年 11 月 3 日,每侧每场景三次。输出速度不含首字等待;两侧权重和量化的一致性未验证。

短输入场景下,Spark 的首字等待甚至略短,但后续生成速度更慢,最终总耗时更长。按输出速度中位数计算,基线短输入约为 Spark 的 3.55 倍,长输入约为 13.66 倍。这些倍数只描述这轮服务状态,不能解释成“四台 Spark 的硬件上限”。

Spark 还出现了明显的慢请求:第三次短输入约用 105.38 秒,输出速度约 7.47 token/s,最终仍然完整结束。因此,“请求没有报错”和“交互体验稳定”必须分开看。另两条参考渠道的短输入输出速度中位数为 143.69—148.13 token/s,长输入为 130.20—141.49 token/s;基线本轮的速度并非四条渠道中孤立的异常值。1

缓存能命中,为什么速度仍然波动?#

主测试的长输入缓存记录如下:

服务路径三次长输入缓存 token最后一次缓存占输入比例
Crazyrouter 基线0 → 6,144 → 6,14498.62%
四台 Spark 自部署0 → 0 → 00%

如果只看这一轮,会误以为 Spark 不支持缓存。后续记录推翻了这种判断:11 月 4 日 01:04 的复测中,长输入缓存为 0 → 6,234 → 6,234,最后一次占输入的 99.98%。但这一轮长输入输出速度中位数仍只有 13.37 token/s;三次分别为 13.37、12.90、45.15 token/s,两个缓存命中的请求仍有明显速度差异。3

14:14 复测时,最后一次长输入缓存比例为 82.13%,输出速度中位数却达到 57.91 token/s。这些数据说明,缓存 token 占比不能单独解释整段响应的快慢。它也不是“节省费用百分比”:本次没有据此计算成本优势。

同一套 Spark,四个时段的结果相差多大?#

后续复测沿用相同任务正文和输出参数。每轮使用独有前缀,因此短输入约为 64—69 token、长输入约为 6,230—6,235 token,并非逐 token 完全相同的请求。

测试时间完成数短输入输出速度长输入输出速度短输入首字等待长输入首字等待
11 月 3 日 23:436/641.46 token/s10.02 token/s3.25 秒7.73 秒
11 月 4 日 01:046/650.69 token/s13.37 token/s4.25 秒3.61 秒
11 月 4 日 14:146/656.70 token/s57.91 token/s2.04 秒5.31 秒
11 月 4 日 20:243/616.84 token/s*7.07 token/s*51.96 秒*37.59 秒*

晚间数据仅统计完成的请求:短输入完成 2/3,长输入完成 1/3。其余三个请求中断,不进入速度和首字等待的中位数。

四台 Spark 自部署在四个历史时段的速度与完成数,晚间仅完成一半请求

图 2:后三轮仅复测 Spark,没有同时重跑 Crazyrouter 基线。不能将旧基线与新时段组合成同一轮受控比较。

晚间中断的三个请求曾收到 HTTP 200 响应头和部分流式内容,但没有正常完成。客户端最终在约 166—187 秒后结束调用,站点日志记录为 499 客户端断开。如果只数 HTTP 200,就会把这一轮错误地记成 6/6 完成。3

因此,晚间最关键的结果是“六次只完成三次”,而不仅是完成样本的速度下降。这轮小样本也不足以估计长期可用率。

慢在哪里:负载与排队是当时最有力的解释#

当时的只读检查确认四个 GB10 节点均运行推理进程。服务的容量快照显示 slots=4、peak_batch=4;这描述的是当时的引擎配置,不能视为四台 Spark 在所有软件和模型上的固定容量上限。

同一个运行中的服务,在不同负载下留下了两类记录:

  • 11 月 4 日 19:44,负载较轻。 服务端日志中,32 或 59 token 输入、256 token 输出的请求达到 104.8—156.8 token/s,首字时间为 0.115—0.148 秒。当时重建的未完成请求只有一个,没有超过一万 token 的长输入。
  • 20:24,慢测开始。 根据已完成请求的结束时间和持续时长反推,至少有 12 个输入超过一万 token 的请求尚未结束,合计输入约 153 万 token;到 20:33,另一个快照至少有 16 个此类未完成请求。4

这些计数包含等待与执行,是历史日志反推的下界,不代表 12 或 16 个请求正在同时占用 GPU 解码。其他流量来自哪里,存档没有查明。

负载较轻时,Spark 确实能够快速生成;大量长上下文请求尚未结束时,客户端可能长时间等不到内容。繁忙时段的直连模型请求也出现等待,因此不能把所有延迟都归因于 Crazyrouter 网关。

现有证据最支持“长上下文负载与排队竞争”这一解释,但没有完整的逐阶段追踪,无法把全部延迟精确分摊给调度器、预填充、解码或传输。19:44 的速度是服务端、短提示词、256 输出 token 的观测,不能直接与前面的客户端 768 token 主测试混算。

Crazyrouter 网关是否增加延迟?两组补测里确实增加了#

11 月 4 日 22:16,测试又在较低负载下做了两组配对请求:每组同时通过直连公网路径,以及 Crazyrouter 转发路径,调用同一套 Spark 自部署服务。输入相同,为 26 token,输出预算为 256 token。

配对路径首字等待总耗时
1直连 Spark0.786 秒3.779 秒
1经 Crazyrouter 到同一 Spark6.150 秒8.307 秒
2直连 Spark1.031 秒4.301 秒
2经 Crazyrouter 到同一 Spark3.704 秒7.496 秒

同一 Spark 服务的直连与经 Crazyrouter 两种路径,在两组低负载配对测试中的首字等待和总耗时

图 3:这里比较访问路径,不是比较 Spark 与前文的 1017 基线。每组请求同时发出,但不保证同时到达推理服务。

经网关的总耗时分别多出 4.528 秒、3.195 秒。服务端记录的处理时长比较接近,提示差异中包含请求到达推理服务之前的额外等待。不过,仅凭两组样本,无法区分网关处理、出站连接与公网映射各自占多少,也不能将这个差值当作固定网关开销。5

这也说明:选择更快的上游基线,与给同一个自部署后端增加一层转发,是两种不同的问题。 前面的结果支持基线在同轮测试中更快;这里的结果同时说明,直连 Spark 在两组补测中的端到端耗时更短。

如果准备自部署,应该如何使用这组结果?#

这次记录支持的判断是:四台 Spark 能运行这套 DeepSeek 服务,但要提供可预期的调用体验,验收不能止于一次低负载测速。

对于准备部署的团队,我们建议把下一轮验收落到四件事上:

  1. 先固定版本。 记录权重修订、哈希、量化、推理引擎版本与拓扑,避免只凭接口别名认定完全同款。
  2. 按业务混合负载测试。 同时覆盖短对话、约 6K 上下文和实际会出现的长请求,观察短请求是否被拖慢。
  3. 一起记录等待、速度与完成率。 完整保留中断样本,在样本充足后再统计 P95/P99,而不是只展示最快的一次输出。
  4. 将服务端与客户端计时对齐。 分别比较直连、网关、空闲与繁忙状态,才能判断下一步应优化哪一段。

如果业务优先考虑本文测试条件下的响应速度,Crazyrouter 基线在同轮结果中更有优势。如果业务目标是掌握部署环境与调度策略,这组 Spark 记录提供的是验收依据;是否采用自部署,还需要补齐容量、质量、故障恢复和运维成本数据。

我们没有测量四台机器的采购或租赁费用、电费、功率、利用率与维护工时,也没有对回答质量进行评分。本文无法证明自部署更省钱,也无法证明某一侧的模型更聪明。

常见问题#

四台英伟达 Spark 自部署 DeepSeek V4.1 Flash 1017,能替代 API 吗?#

这批记录能证明四台 GB10 节点上的服务可以响应 DeepSeek 请求,但不能确认自部署权重就是同一 1017 修订版。能否替代业务中的 API,还取决于实际负载、响应时限、质量与运维要求;晚间 3/6 完成的结果说明必须补做繁忙时段验收。

主测试中的 13.66 倍差距,是硬件性能差距吗?#

不是。它是同轮长输入输出速度中位数之比,包含当时的缓存、负载、推理服务和访问路径等差异,不能用于推断 GPU 算力倍率。

缓存命中 99.98%,为什么还不够快?#

该轮缓存接近全命中,但长输入输出速度中位数仍为 13.37 token/s。这说明缓存命中比例不足以代表整体速度;历史记录没有提供足够的阶段计时,无法进一步量化各项原因。

Spark 能跑到每秒一百多个 token 吗?#

历史服务端日志在较低负载、短输入、256 token 输出条件下记录了 104.8—156.8 token/s。这与客户端 768 token 主测试的测量口径不同,不应包装成任何负载下的持续性能承诺。

HTTP 200 能算一次成功调用吗?#

本次晚间测试中不能。三个请求收到 HTTP 200 和部分内容后中断,没有完整结束;我们按 3/6 完成统计,而非 6/6。

自部署和 Crazyrouter,哪个更便宜?#

本文没有完整的同口径成本数据,不能作出结论。若要做成本测算,应把硬件、利用率、运维和失败重试成本与 API 实际账单放在同一业务量下比较。实时计费信息可从 Crazyrouter 价格页核对,不能将当前报价直接当作历史测试的实际成本。

测试资料与延伸阅读#

后续应用接入可参阅 Crazyrouter 接入指南。如果关注任务正确率与实际消费的比较,可阅读另一项独立测试 GPT-6.2 Sol 与 DeepSeek V4.1 Flash 云端对比;其题目和评分方法与本文测速不同,结果不能合并。

本文由 Crazyrouter 历史测试存档整理,统计于 2026 年 11 月 20 日重新核算。原始样本、渠道核验记录及机器诊断索引已内部归档;下列注释说明各组数据的来源和统计范围。

作者:Sophie M · 整理日期:2026 年 11 月 20 日 · 数据日期:2026 年 11 月 3—4 日。

Footnotes#

  1. 2026-11-03 四渠道主测试:26 次正式请求;本文选取基线与 Spark 各六次。逐请求记录、汇总与消费日志交叉核对。 ↩ ↩2 ↩3

  2. 主测试响应模型字段,以及 2026-11-04 四节点机器检查。仅确认返回标识与部署进程,不构成相同权重鉴定。 ↩

  3. 2026-11-04 01:04、14:14、20:24 三轮 Spark 复测,各六次;晚间三个客户端中断单独保留。 ↩ ↩2

  4. 2026-11-04 机器诊断记录;未完成请求数根据已完成请求的持续时长反推,包含等待与执行。 ↩

  5. 2026-11-04 22:16 直连/网关配对补测,共两对请求,输入 26 token、输出 256 token。 ↩

Implementation Guides

Podcast

AI Dev Tools: The Crazyrouter Podcast

面向开发者的英文短节目:AI API、网关、成本控制与编程工具。

最新节目

  • EP196 · 2026年10月29日 · 6:53

    AI API Security Posture — Turn Controls Into Continuous Evidence

    A practical guide to AI API security posture: inventory exposure, verify controls continuously, protect keys and data, constrain tools, and turn security assumptions into evidence that operators can act on.

  • EP195 · 2026年10月28日 · 7:21

    AI API Policy Drift — Detect When Production Rules Stop Matching Intent

    A practical guide to policy drift in AI APIs: version routing and safety rules, detect stale enforcement, compare intended and observed behavior, and restore control before small gaps become incidents.

Episodes with written show notes →

主题

模型对比

相关文章

GPT-6.2 Sol 对比 DeepSeek V4.1 Flash:76 次云端实测,谁更快、更省钱?模型对比

GPT-6.2 Sol 对比 DeepSeek V4.1 Flash:76 次云端实测,谁更快、更省钱?

72 次主测试加 4 次高预算补测:Sol 正确完成 36/36,Flash 30/36,剩余 6 次为输出上限截断。云端未出现连接超时;提高预算后两款模型都答对补测题。对比实际耗时、账单与本机测试偏差。

11月20日
Gemini 2.5 Flash Lite vs GPT 4.1 Mini:图片理解 API 实测对比(Crazyrouter Base URL)Comparison

Gemini 2.5 Flash Lite vs GPT 4.1 Mini:图片理解 API 实测对比(Crazyrouter Base URL)

本文用 Crazyrouter OpenAI 兼容接口实测 gemini-2.5-flash-lite 与 gpt-4.1-mini 的图片理解表现,比较识别准确率、延迟、价格、usage 信号和生产选型建议。

6月21日
GPT-5.6-sol vs GPT-5.5 第六轮实测:更难物理题和依赖约束编程题Comparison

GPT-5.6-sol vs GPT-5.5 第六轮实测:更难物理题和依赖约束编程题

基于 Crazyrouter OpenAI-compatible API 的真实模型对比测试:用带滑轮转动惯量、绳松弛和弹簧压缩的物理题,以及依赖闭包、多日容量和三层 tie-break 的 Python 编程题,对比 gpt-5.6-sol 与 gpt-5.5 的正确性、耗时、finish_reason、reasoning_tokens 和本地测试结果。

7月10日
GPT-5.2 完整指南:OpenAI 最新旗舰模型 API 使用教程 2026Tutorial

GPT-5.2 完整指南:OpenAI 最新旗舰模型 API 使用教程 2026

全面介绍 GPT-5.2 的能力、API 接入方法、与 Claude Opus 4.6/Gemini 3 Pro 对比、定价分析,以及通过 Crazyrouter 低价使用的完整教程。

4月15日
Claude Fable 5.1 对比 Fable 5:同题实测输出效率、正确性与那些不会报错的破坏性变更Comparison

Claude Fable 5.1 对比 Fable 5:同题实测输出效率、正确性与那些不会报错的破坏性变更

把 claude-fable-5-1 与 claude-fable-5 钉在同一条上游路径上,用短改写、长缓存前缀、重推理三种负载各跑 3 次,记录正确性、输出 token、thinking 预算与延迟。结论:三组正确率全部打平,5.1 用 0.372/0.744/0.891 倍的输出 token 给出同样正确的答案,且官方标注会返回 400 的 7 项破坏性变更实测全部静默返回 200。

9月3日
GPT-5.1 Codex Max 定价详解 — 代码专用模型及如何通过 Crazyrouter 节省成本Pricing

GPT-5.1 Codex Max 定价详解 — 代码专用模型及如何通过 Crazyrouter 节省成本

全面解析 GPT-5.1 Codex Max API 定价 — OpenAI 代码专用模型,$2.00/$16.00 每百万 Token,自动缓存、Batch API 折扣及 Crazyrouter 省钱攻略。

4月27日