开源权重这两天同时走到了两端:一头是能塞进笔记本的模型,一头是 7700 亿参数的旗舰把权重放到了公开平台。实验室那边,已经在用智能体写代码、合拉取请求、修漏洞。
我做中转、手上有模型货源,读法就三句:能本地跑的先看内存,别听成随便一台电脑都行;旗舰开源权重大,先看量化和许可证,别默认自己的卡能拉满、也能随便拿去商用;软件工厂的数字是人家自己的统计,低风险变更可以加快,关键合并还是要人看。
一、能塞进笔记本的开源权重来了
Thinking Machines Lab 11月20日官方发文,发布了开源权重模型 Inkling 2 Mini。它是循环 Transformer:一共 24 层,中间 12 层每个 token 会跑三遍,总参数 264 亿,每 token 激活 34 亿,算上循环后每次大约要加载 54 亿参数。许可是 Apache 2.0,权重可以在 Hugging Face 下载。
官方写,检查点大约 20GB。模型卡建议:苹果芯片设备内存 32GB 及以上;其他平台建议 32GB 及以上显存。他们的演示是在一台 48GB 的 MacBook Pro 上离线跑通的。我们还没实际试过。
官网给的成绩,是它在总参数不到 1000 亿的开源权重模型里,DeepSWE v1.1 到了 48.2%,Vals Index v2.2 到了 46.5%。这些是官方自己的评测,我们没有复测。官方也写了短板:多轮聊天和约束很多的指令并不是它最强的项,事实知识基本还是看总参数,循环主要帮的是推理。
我的判断是:这不是「所有笔记本都能跑」。内存不到 32GB 的机器,先别默认能打开。真能跑起来的,适合拿来做本地写代码、试工具调用。
二、旗舰 Hy4 的权重也放出来了,但跟前几天的 flash 不是一回事
腾讯混元在 Hugging Face、魔搭 ModelScope 和 GitCode 上开放了 Hy4、Hy4-FP8 和预训练 Hy4 base 的权重。模型卡写,这是原生多模态旗舰 MoE:语言模型主干总参数 7700 亿(不含视觉编码器和草稿模型),每个 token 激活 490 亿,还能理解图像和视频,上下文最长 100 万 token。官方 FP8 示例配置里用了 8 卡并行。
前几天放出的是 Hy4 flash 的权重,总参数 2200 亿、激活约 120 亿。这次是旗舰 Hy4 本身,别混成一次发布。我们还没部署过,不保证现有的卡一下就能跑起来。
许可证也要先看清:它用的是腾讯自己的 Tencent Hy License,从 Apache 2.0 改来,但并不是 Apache 许可证,对大规模做模型即服务(MaaS)另有商业条款。打算拿去对外提供服务的,别默认可以随便商用。
我的判断是:这是又多了一条可核对的开源旗舰,但不是笔记本模型,多数人会先碰量化版或 API。先看许可证和机器,再谈「开源了就能上」。
三、软件工厂开始把交付线交给智能体,但低风险才能放手
同一天,Runway 官方工程博客写,云端智能体驱动的拉取请求,在 10 月占到合并总量的 38%,6 月还只有 0.1%。9 月到 11 月中旬,第一次批准的等待中位数从超过 2 小时降到大约 5 分钟,每周合并量也翻了倍以上。这些是他们自己仓库里的数字,我们没有复测。
回滚那组数字要读完整句。官网写,10 到 11 月里,只由智能体批准就合并的拉取请求,回滚大约是千分之一,人工批准的大约是二百分之一;但他们接着写,智能体单独批准的多数是低风险变更,本身就不太容易被回滚。别把这组对比听成「机器批准比人更可靠」。
OpenHands 官方博客写了他们修自己镜像漏洞的做法:智能体挑选修复、开拉取请求、合并低风险项,并跟踪到部署;人每天只读一条最多 11 行的 Slack 消息,再审少量拉取请求。这也是他们自己的工作流,不是说你的生产环境已经可以无人值守。
我的读法:智能体可以加快「写到绿、合低风险、修常见漏洞」,审核标准和回滚权还是要人定。别人仓库里的 38%,不能直接当成你这边的进度。
三句话总结:
对行业:开源权重在变好用,软件交付也在被收进流水线,但门槛、许可证和人审都还在。
对开发者:有 32GB 内存的机器可以按官方说明试 Inkling 2 Mini;Hy4 旗舰先看量化、显卡和许可证;学软件工厂,先学他们怎么只把低风险变更交给自动合并。
对普通人:不是所有电脑都能本地跑这些模型,进不去不奇怪;真能试的,也先从本地、低风险的任务开始。
我这边做的是多模型通路和备路,想对比着试试的可以看看 http://t.cn/AXYV07WN ,用得上再点。
#开源模型##腾讯混元##智能体##API#
发布于 美国
