股道酬勤LRY 25-02-12 22:56
微博认证:财经知识分享官 财经博主 头条文章作者

今天中午的新闻:据豆包大模型团队消息,字节跳动豆包大模型Foundation团队近期提出UltraMem,一种同样将计算和参数解耦的稀疏模型架构,在保证模型效果的前提下解决了推理的访存问题。据介绍,该架构有效解决了MoE推理时高额的访存问题,推理速度较MoE架构提升2-6倍,推理成本(豆包大模型团队)最高可降低83%。

—————
下午,中泰立刻推出研报【中泰科技孙行臻团队】豆包UltraMem再现端侧降本,访存改善利好端侧应用落地

豆包提出稀疏模型架构UltraMem,实现降本&低访存

一、技术路径:参考PKM设计做优化,通过优化访存机制,在相同参数和激活条件下实现更低的内存占用,使其在批处理场景下访存成本接近Dense模型。

二、实现效果:有效解决MoE推理时高额的访存问题,推理速度较MoE架构提升2-6倍,推理成本最高可降低83%。

低访存特性,更适合高频调用和端侧部署

一、实时性:适用于对延迟要求较高的推理场景。实时语音交互、移动端图像处理等端侧应用的响应延迟显著降低,用户体验流畅度提升。

二、普惠性:本地部署要求大幅降低,大规模部署端侧设备成为可能,相关应用场景井喷。

建议关注:

1)豆包合作伙伴:汉得信息、博彦科技、广和通、移远通信、中科创达、亚信安全等

2)C端消费终端及配套硬件:萤石网络、中科创达等;

3)B端软件应用:同花顺、合合信息、金山办公、万兴科技等。

风险提示:应用落地速度不及预期风险;技术进展不及预期;下游需求景气度波动风险

————
研报推荐的前2只个股汉得信息,博彦科技下午最强。且看明天有没有持续性?

发布于 北京