两台电脑跑本地AI,别急着凑显存:先做10分钟分流预检。
你把第二台电脑接进局域网时,第一反应可能是“显存能不能相加”。
这恰好是最容易误判的地方。
NVIDIA开源的Personal AI Router(PAIR)做的是请求分流。
同一网络里的机器各自运行模型。路由器按模型可用性和当前负载,把不同请求送到合适节点。
它不会合并显存,也不会把单次请求或一个模型拆到多台机器。
官方仓库:http://t.cn/AX0iata1 。
先做10分钟纸面预检,再决定是否安装:
一、列出每台机器已能独立运行的模型;
二、确认设备在同一可信局域网;
三、准备3条可并行的独立请求;
四、记录请求、目标模型、候选节点、排队状态和停止条件。
可复制交付物:请求|模型|候选节点|排队状态|回退节点|停止条件。
已填写示例:请求=总结文档|模型=本地8B|候选节点=台式机A/笔记本B|排队状态=A忙|回退=B|停止条件=两机都无该模型。
完成标准:三条请求能被独立分配;任一节点离线时有明确回退;需要合并显存的任务直接判定不适用。
官方仓库说明支持Windows 11、Linux和macOS节点,可连接Ollama与LM Studio。
配对依赖PIN,安装程序会配置服务与防火墙。当前调度仍较粗,不应把它写成精确的GPU成本优化器。
本轮仅做官方资料只读核验,未安装、未实测。
第二台电脑的价值,可能不是让一条任务更大,而是让多条任务少排队。
#AI工具# #本地AI#
发布于 美国
