#姚顺雨和混元团队上Reddit答网友#
Hy小模型已经在路线图上,面向24GB显存的模型也有计划。
今天凌晨,姚顺雨和腾讯混元团队来到Reddit社区,围绕刚发布的Hy4和Hy4 flash做了一场AMA。
AMA是「Ask Me Anything」的缩写,意思是「有什么想问的,尽管问」。网友在评论区提问,混元团队成员直接回帖。
这场AMA的主角,是混元本月接连发布的两款模型。
11月4日发布的Hy4是旗舰,能理解文本、图像和视频,适合长程软件工程这类需要多步推理、反复调用工具的复杂任务。
11月16日发布的Hy4 flash,主打日常办公的速度和成本。它支持图文输入和最长100万Token的上下文,每个Token激活约120亿参数。
Hy4和Hy4 flash都已接入腾讯WorkBuddy。混元团队还把WorkBuddy里的修表、改文档、做PPT等典型任务纳入了内部评测WorkIndex,按这套评测测算,Hy4 flash的平均单任务成本约为旗舰Hy4的1/20。
两款模型的权重都已公开。到了AMA,有网友直接报出自己的电脑配置:96GB显存、128GB内存,能跑Flash吗?
团队说能跑,主要权重留在GPU上,部分专家层和Engram查表模块可以挪到系统内存。
也有人问llama.cpp,团队说适配正在做。
聊到研发,团队还透露了不少训练背后的秘诀。
Flash的激活参数还能不能减?他们拿做过的MoE稀疏度实验解释取舍。
让Agent自己解题,训练时遇到过什么麻烦?有时它会直接上网找现成答案,跳过解题过程。
还有网友问,后训练里最难改善的行为是什么,团队只回了一个词,Overthinking,过度思考。旗舰Hy4的推理链有时偏长。到了Flash,团队先从旗舰蒸馏,再用强化学习把推理链压短。
从模型怎么训,到开发者能不能把它跑起来,这场AMA聊了不少平时在模型卡上只有一行、到了真用时却绕不开的问题。
(AMA节选:http://t.cn/AXTMTb6w)
