详细介绍
oMLX 是一个 macOS 原生的推理服务器,基于 MLX,专门为在 Mac 上跑本地模型做优化。
它针对的痛点很明确:编码 Agent 一个会话里会反复让 KV 缓存失效,每次都要从头重算 prompt,等待时间能到 30 到 90 秒。oMLX 的做法是把缓存块以 safetensors 格式持久化到 SSD,热块留在内存、冷块按 LRU 落盘,之前见过的前缀可以在毫秒级从磁盘恢复,跨请求甚至跨服务器重启都有效。官方给的结果是第二轮之后首字延迟压到 5 秒以内。
API 兼容 OpenAI 和 Anthropic 两套格式,Claude Code、OpenClaw、Cursor 都能直接指过去。项目采用 Apache 2.0 协议,需要 Apple Silicon 和 macOS 15 及以上。
适合手里有大内存 Mac、想把编码 Agent 的推理挪到本地的开发者。
相关推荐
Post-In-Peace – Lite (US)
Post-inPeace 帮助用户确保社交媒体发布符合版权、赞助和赠品的合规要求。
vverse.ai
基于人工智能的视频解决方案,用于编辑、增强和发布视频内容。
YouTube Clickbait Decoder & Video Summarizer
解码点击诱饵并总结 YouTube 视频,实现高效观看和明智决策。
ChatGPT Academic Monitor
用于监控 ChatGPT 使用情况以确保学术诚信的 Chrome 扩展。
CanceledGPT
人工智能工具,用于查找和修订冒犯性推文,以避免被取消。
AI Parabellum
免费的工具,用于估算 2025 年的 OpenAI API 成本。