AI卡包 WBCXAFGBMGDEVELOPER.AICARDBAO.COM

行业资讯

Inkling 2 Mini 本地跑和 Claude Sonnet 5.5:每秒 210 token 是 96GB 那台机器上的数,同款机器别人只测出 83

210 token 每秒,这个数是在一台 96GB 内存的 M5 Ultra Mac Studio 上测出来的。测的人是 EXO Labs,而且是和模型的开发方 Thinking Machines 一起调过之后的成绩。

同一款机器,换一个人、换一个运行时,数字是 83.4。

后一个成绩来自一场公开的 oMLX 测试,同样是 96GB 的 M5 Ultra,上下文 4k 时每秒 83.4 个 token,上下文拉到 32k 就掉到 56.2。编程智能体跑上几轮,上下文轻松过 32k,所以日常手感更接近 56,离 210 很远。这两天「本地小模型做应用比 Claude Sonnet 5.5 快 1.8 倍、便宜 11 倍」的说法传得很广,源头就是 EXO 那条帖子。拿它做采购决定之前,有几处口径要先对齐。

速度表上的六行

Inkling 2 Mini 是 11 月 20 日放出来的,权重挂在 Hugging Face 上,约 20GB,Apache 2.0 协议。发布才几天,已经有不少人在自己机器上跑过,结果差得很远。

机器 运行方式 解码速度(token/秒) 谁测的
96GB M5 Ultra Mac Studio EXO 调优版 210 EXO Labs 自测
96GB M5 Ultra oMLX,4k / 32k 上下文 83.4 / 56.2 公开测试
48GB M5 Max MacBook Pro EXO 调优版 125 EXO Labs 自测
48GB M5 Max MacBook Pro MTPLX 三档量化包 103.8 到 128.8 MTPLX 发布说明
48GB M5 Pro 原版 MLX 权重 24.0 到 24.8 社区实测
24GB M4 Pro 部分算力落在 CPU 11.6(中位数) 第三方评测

M5 Max 那两行对得上,说明 125 这一档装个现成的包就能复现。M5 Ultra 上的 210 目前只有 EXO 一家报出来。

差一个字母,差五倍。

同样是 48GB 内存,M5 Max 跑到 125,M5 Pro 只有 24.8。内存装得下模型只是门槛,速度看的是内存带宽和 GPU 核心数。「48GB 的 MacBook Pro 也有 125」这句话在转述里常常丢掉 Max 三个字母,丢掉之后就是另一个结论了。

三个量化包,最快的那个压得最狠

MTPLX 给这个模型出了三个包。Bare Speed 把注意力层、输出头和词嵌入都压到 4-bit,体积 16.0GB,最高 128.8;Optimized Speed 把注意力层和输出头留在 8-bit,17.2GB,最高 123.8;Optimized Quality 不动官方权重,20.2GB,最高 103.8。

要拿到宣传里那一档速度,得接受最激进的压缩。保留原始权重,速度先少 19%。EXO 的 210 用的是哪一档精度,帖子里没有写。

还有一个参数容易看漏。Inkling 2 Mini 总参数 26.4B,混合专家结构,每个 token 只激活 3.4B,看上去很轻。但它是循环架构,24 层里中间的 12 层共享权重,每个 token 要过三遍,官方自己给的口径是每个 token 实际经过 5.4B 的权重。拿 3.4B 去估它在你机器上的速度,会高估六成左右。

那个天气应用到底比了什么

「快 1.8 倍」比的是在 Mac Studio 上从头做一个原生天气应用的总耗时,「便宜 11 倍」按的是 API 价格。两个数不在同一套条件下:速度拿本地最好的硬件去比,成本却换成了云端标价。真在本地跑,token 费是零,该算的是那台机器的钱。

标价这边,Thinking Machines 自家接口是输入 0.15 美元、输出 0.50 美元每百万 token,OpenRouter 上挂的是 0.075 美元和 0.30 美元。Sonnet 5.5 是 2 美元和 10 美元。只看输出单价,差 20 倍。

可是 Sonnet 5.5 有五个推理档位,账单跟着档位走。Artificial Analysis 跑它那套智能指数时,max 档平均每道题吐 19.3 万个输出 token,单题成本 10.02 美元;low 档单题只要 0.41 美元。同一家机构在 9 月 28 日的发布评测里写的还是单题 7.60 美元,两个数对不上,取哪个都改变不了量级。输入这头还有缓存,命中价是标价的 5%,也就是 0.10 美元。

low 档的 Sonnet 5.5 指数 26 分。Inkling 2 Mini 是 20 分。

这组数在各种转述里几乎没人提。把 Sonnet 调到最省的那一档,它仍然比 Inkling 2 Mini 高出一截,一道题四毛钱出头;调到 max 是 55 分上下,已经不是同一个量级。做天气应用这种题,20 分和 55 分的模型都做得完,于是比到最后只剩速度。换一道 20 分做不下来的题,快 1.8 倍没有意义。

云端的速度也不慢。Sonnet 5.5 在 xhigh 档的输出速度是每秒 143 个 token,medium 档 110.6,和独立测试里 M5 Ultra 的 83.4 放在一起,本地不占便宜。Thinking Machines 自己的托管服务跑 Inkling 2 Mini 是每秒 280,比任何一台 Mac 都快。

两边各自过不去的坎

Inkling 2 Mini 的毛病,官方模型卡自己列了三条:会生成看似合理的错误内容,偶尔不严格按指令办,多轮长对话里表现下降。另有评测提到它的推理过程可能绕进循环出不来。上下文长度有两个说法,模型卡写最高 1M,Tinker 的文档写 256K;1M 的窗口在本地要吃掉多少内存,发布公告没有交代。它自报的 DeepSWE v1.1 成绩是 48.2%,Vals Index v2.2 是 46.5%,都是公司自己跑的,暂时没有第三方复测。

Sonnet 5.5 的问题集中在钱和控制权上。高档位很能写,同一道题的账单可以是 low 档的 24 倍,而开哪个档经常是智能体框架替你定的。输出上限 12.8 万 token,生成长文档会被截断。代码和数据全部经过 Anthropic 的服务器,有数据不出内网要求的项目直接出局。

断网就不能用。

32GB 以下的机器先别折腾

官方建议的内存下限是 32GB,Ollama 的支持范围也从 32GB 的 Mac 起算。Unsloth 出了能在 16GB 上跑的 GGUF 版本,24GB 的 M4 Pro 有人跑通,中位数每秒 11.6 个 token,这个速度拿来做代码补全都嫌慢。

手上是 M5 Max 或 M5 Ultra、内存 48GB 起步的人,可以把它当成一个离线可用的第二模型:改小函数、搭脚手架、处理不能传出去的代码,一百出头的速度足够顺手。跨文件排查、复杂重构这类活照旧交给 Sonnet 5.5,哪怕只开 low 档。

为了跑它专门添一台 96GB 的 Mac Studio,这笔账眼下不好算。按 low 档单题 0.41 美元计,4100 美元能跑一万道题,可以拿这个数去对一下那台机器的报价。

相关对比:《Gemini 4 Hydrogen 和 Claude Sonnet 5.5:57% 和 70.6% 根本不是同一张卷子》|《Muse Ember、Claude Haiku 5.5、GPT-6 Luna:标价一样,每道题的账差了快三倍》|《混元 Hy4 flash、DeepSeek V4.1 Flash 1017、GLM-5.3-Flash:腾讯说便宜八倍,按北京时间下午三点算只剩四倍》

相关推荐