Simon的白日梦
26-11-21 08:48 微博认证:科技博主

为了本地运行大模型,大家什么事都能做出来。居然还有把 40 台迷你主机用 USB 互联在一起跑 GLM-5.3-Flash 的。😂

40 台 N150 迷你主机,转述称用 USB 调试口跑起 GLM-5.3-Flash

这条在转述 r/LocalLLM 上的一个家庭机房帖:40 台项目剩下的 Intel N150 小主机,每台 12GB 内存,加起来 480GB。千兆网做分布式推理时,据称跨节点同步把速度卡在 7 tok/s;改用 USB 3.2 调试口直连后,短上下文单路据称能到 14 tok/s,想躲开万兆交换机。

造价约 5000 美元、满载 740W,也都是转述,未见独立测试。配图是信息卡,不是机柜照片。官方模型卡写的是 320B 总参数、18B 激活,公开权重主要是 FP8,权重本身就要三百多 GB。按推文自报的预填充速度,填满一路 100 万上下文也要三个多小时。Reddit 原帖这边没能打开。

🔗 链接:http://t.cn/AXTf5DGT
📄 原帖:http://t.cn/AXTf5DGH
🌐 模型卡:http://t.cn/AXp8HSWG

#HOW I AI# #ai生活指南# #本地大模型#

发布于 广西