WeLM是微信团队自研的大语言模型,全称为Wechat Language Model,专注于微信场景的文本生成和理解任务。当前小微AI助手主用的WeLM-80B-A3B版本采用高效稀疏架构,总参数80B但单次激活仅3B,主打低成本高并发,适合处理微信内的短交互任务如群聊摘要、工具调用等。
其技术亮点包括长上下文处理(支持128k tokens)、隐式推理(Hidden Decoding)以及与微信数据结构的深度整合,例如通过结构化召回方式快速定位聊天记录等上下文信息。相比混元通用模型,WeLM更侧重微信生态的适配性,例如优化了小程序调用链路和支付风险控制。
WeLM 应该是一个闭源的模型,所以,能力到底怎么样呢?只能等微信 Agent 上线之后,大家实测才能感受出来。
#科技先锋官##How I AI#
发布于 山东
