李隐枫
26-09-11 10:34 微博认证:Postmedia Network 数据科学经理

一贯敌视中国的Anthropic今天发了一份安全报告,讲述Claude等AI模型被非法/滥用的情况。里面太多不能讲的内容,我就挑一些能讲的和大家说说。

比如,一些未经许可的用户使用Claude进行武器的研发迭代,其中的一个例子就是也门某武装组织。在Anthropic给出的六个案例中,它是唯一走完"设计—仿真—实弹—复盘"全流程的。

一个位于也门北部的工程小组,同时跑三个武器项目:
-- 制导火箭弹,用手机级别的飞控芯片,带末端寻的制导
-- 多级弹道导弹,宣称射程目标 2000 公里以上
-- "R2000" 的多型号导弹,其中包含一个高超音速滑翔飞行器变体

他们用 Claude Code 干什么?报告说得很具体:代替人类软件工程师,开发 GNC 软件——也就是制导、导航与控制,对飞行物进行操控的代码。

具体到操作层面:把一个开源自动驾驶仪移植到手机级飞控板上、写控制律和位置估计代码、调参、跑固件编译流水线、做飞行仿真。

图二就是他们开发GNC 软件所使用的工作流程。熟悉软件开发的一眼就可以看出这是典型的软件工程 V model。

值得注意的是他们的组织方式:这伙人同时开几个 Claude 实例,给每一个 实例分配一个角色。一个 Claude 实例写代码,一个 Claude 实例负责查资料,第三个 Claude 实例负责审查第一个 Claude 实例写出来的代码。

也门的小型工程团队对AI的使用已经完成"从助手到编排者"(from assistant to orchestrator)的进化。

他们实弹试射了一枚制导火箭。但试射看起来失败了。几小时之内,这伙人回到 Claude,来分析它为什么失败。

传统的武器研发迭代周期,瓶颈包括研发人员(会写 GNC 的工程师有限)、时间(设计到测试要经过多轮试射迭代)、遥测数据的解读(从传感器读数里准确判断问题)。

AI 把这三个都压缩了。设计到实弹的周期缩短,失败后从"数据"到"下一版修改方案"的周期,从星期级压到了小时级。

"武器研发迭代"被 AI大大加速了。

Anthropic最终封了这些账号……但有证据表明,这伙人已经建好了一套离线仿真工具包,不依赖 Claude,也不依赖 MATLAB 这类工程计算环境。

AI 辅助武器研发的加速能力已经借助AI,彻底脱离了AI平台本身,变为使用者自己拥有的能力。此时管控 AI 平台已经于事无补。

发布于 加拿大