贾凡-失落的大蒜
26-11-19 22:54 微博认证:科技博主

家里的电脑能不能直接变成一台个人 AI 工作站?Linger 把模型推理、个人资料和 Agent 运行放到本机。原帖串帖里演示了让它整理邮箱、日历和本地文件,查完资料再起草跟进邮件。复杂任务还可以分给研究、写作等多个 Agent,最后回到同一个对话里看结果。

想试的话,到 GitHub Releases 选自己系统对应的桌面包,打开后在设置页用 Quick Install 建本机服务、选择模型。仓库另有 Docker Compose 路线,模型和 Agent 仍在连接的电脑上运行。接入愿意开放的浏览器和资料后,可以先拿「根据这几份资料整理明天的会议准备清单」这种范围明确的任务试一遍。

它的特点是复用电脑上已有的浏览器会话,演示里的发信等对外操作会停下来等确认,人也可以接管浏览器。推理方面,PolyStrata 会利用 GPU、内存和 SSD 管理 MoE 模型的专家权重。项目方演示过用 12GB 显卡运行 125B 级别的特定量化模型,换模型、内存或硬盘后要单独测速度。这条视频按顺序收录了串帖的五段原始演示。

项目资料:http://t.cn/AXTqB82E
http://t.cn/AXTG2Xs3
原帖:http://t.cn/AXTqB82R

发布于 辽宁