推理加速 · tag · 3 stories in last 30 days · front page
- 1.Ultrafast 1521 tok/sclaimed普通 API $0.30 / $1.20 / MTok普通吞吐 ~158 tpsclaimed厂商演示 Ultrafast 上达到 1521 tok/s；测法与价格未完整公开，普通 API 另有标价。
- 2.8×GB200 1.43–1.65s / 5s 768pclaimedRTX 5090 ~39.8sclaimedDGX Spark ~56sclaimed开源推理引擎，把 MiniMax-H3 视频生成在多种 NVIDIA 硬件上的耗时公开出来。
- 3.Stars 373许可 Apache-2.0吞吐 69 → 161 tok/sclaimed面向 Apple Silicon 的本地推理引擎，标题给出同机吞吐对比数字。