蒸馏这个技术说白了抽象看,跟过去欧美花巨资原创了一个技术,然后被中国人看到拿去优化一下大规模生产力,并无本质区别,很多以前原产美国的产品都是非常皮实的,产能转移到中国后,样子都一样但是减配非常多,比如典型的就是汽车,开还是可以开的,价格便宜很多,当然那种厚重的用料肯定没有了,这是一个类比,也就是说美国人没想过还有蒸馏这个玩法,所以当DS出来以后美国佬的大模型就很谨慎了,最好的大模型是私有化的,不拿出来了,但问题是产业发展这种东西,一旦你让山寨或者平替供应商知道了某个东西的原理,后面就很难刹车了,类似的例子在很多产业都这样,原研不是中国的,这边一开始是模仿学习,然后上规模,然后改良,然后就青出于蓝,考虑到数字世界的产能转移比现实世界其实更简单,因为无非就是代码的问题,可能十几个硬盘就搬走了,或者核心的公式的算法,所以美国人发现了这个问题,他的AI头部公司开始裁人,大量的华裔出局,美其名曰走错了技术路线,深层次的问题就是害怕,数字产能要转移能力可比那些动辄上百吨的生产线简单
发布于 四川
