Gameye Newsnew|past|sources|rss

Kapitsa:Apple Silicon 推理引擎,同机 69 到 161 tok/s

X 热议日报 · 2026-10-23 · 2026-10-23 05:10 Asia/Shanghai · original · GitHub
Stars 373许可 Apache-2.0吞吐 69 → 161 tok/s (claimed)

Why it matters

面向 Apple Silicon 的本地推理引擎,标题给出同机吞吐对比数字。

Summary

Blazing fast Apple Silicon optimized inference engine built for Qwen & Nemotron

Key points

  • 面向 Qwen 与 Nemotron,兼容 OpenAI / Anthropic API(仓库描述)
  • 标题称同机吞吐约 69 → 161 tok/s

Details

License
Apache-2.0
Stars
373
Tags
推理加速本地模型

Links

Related on 2026-10-23

Comments

Comments coming soon.