英伟达发布了一个开源的本地部署模型设备的智能路由器，多设备之间也可以做api智能负载了🥹
NVIDIA PAIR，把家里多台电脑的本地推理当成一台路由器来调度

NVIDIA Personal AI Router 在同一局域网里发现节点，管 Ollama 和 LM Studio，对外给出 Ollama 兼容和 OpenAI 兼容代理。多 agent 并发时，每条独立请求按引擎是否在跑、模型是否在本机、当前负载，派到其中一台。显存不合并，模型不切到多机，进行中的推理也不拆。Windows / Linux / macOS 可以混组，x64 和 arm64 都有；第二台用六位 PIN 加入。桌面应用是主路径，无图形界面的机器走终端。节点卡片上能装引擎、拉模型、看 GPU 和内存。

🔗 链接：http://t.cn/AX0iata1（项目）
📄 概览：http://t.cn/AX0pECj3（文档）
📄 上手：http://t.cn/AX0pECju（文档）
💻 发布页：http://t.cn/AX0pECj1（发布）

当前调度只看排队量和粗粒度 GPU 利用率，还没吃 GPU 型号、空闲显存、模型是否预热。他们自己也说更适合配置接近的机器，异构集群还早。局域网发现和 PIN 组网有安全边界，别往不信任的网上扔。

#HOW I AI# #ai生活指南# #效率工具#