谢车夫 23-12-27 14:48
微博认证:数码博主 微博原创视频博主 头条文章作者

在Find X7系列上,OPPO首次实际端侧应用70亿参数的大模型。通过4bit量化的模型压缩,OPPO的 Al Boost 推理引擎优化,以及与芯片厂家联合深度优化等多项举措,让70亿参数大模型真正地装进了手机中,并且实现了内存和存储空间的进一步优化,为端侧AI的性能与精度实现了更好的平衡。
在AndesGPT大模型70亿参数大语言支持下,OPPO端侧具备超快的首字响应速度,在文本内容摘要的场景下,200字的首字生成仅需0.2s,领先友商20倍;2000千字首字生成仅需 2.9s,领先友商2.5倍;摘要字数上限可达14000字,可以轻松输入一篇常见期刊论文,领先友商模型能力3.5倍。
相比10亿参数大模型,AndesGPT 70亿参数语言模型在带来更有“智商”的理解能力。以通话摘要功能举例,AndesGPT可以帮助用户梳理通话内容的要点,并准确地输出带有主题、要点,以及待办事项的通话内容摘要,精准程度明显优于10亿级别的端侧模型。

发布于 江苏