#越狱PS4成功本地运行90亿参数大模型#
IT时代网11月16日消息,有开发者让2013年发售的PS4游戏主机在越狱后本地运行了一个90亿参数的大语言模型,文字对话速度达到每秒31至39个token,代码生成最高可达每秒43个token,全程无需PC也无需联网。
该项目名为Garlic LLM,名字取自PS4 GPU直接读取的Garlic内存,需要在运行GoldHEN自制系统的越狱主机上使用。模型包大小5.66GB,可在Hugging Face免费下载,通过主机的软件包安装器安装,开发者在固件11.52的标准版和Slim版PS4上完成了测试。
主模型为阿里巴巴开源的Qwen3.5-9B,配合Chatterbox语音模型可实现七种语言的语音对话,按住手柄按键还能借助0.6B参数的语音识别模型进行听写,支持25种欧洲语言。为了把90亿参数塞进主机8GB共享内存,项目对权重采用4比特与3比特混合量化,整体占用约4.5GiB,注意力缓存同样4比特量化,可容纳1.6万token上下文,全部组件合计5.62GB。
技术上,该项目没有使用llama.cpp或Vulkan驱动移植,模型矩阵运算内核以OpenCL C编写,面向AMD GCN架构编译,由CPU侧负责分词、界面与音频,再通过底层命令缓冲区直接驱动GPU。性能表现还得益于Qwen3.5自带的多token预测头,可一次向前推测最多两个token再由完整模型验证,这是其在2013年硬件上仍有可用速度的关键。
