在互联网行业,字节跳动是一个长期的热门选题,短视频、电商、生服、短剧、大模型,哪都有它,甚至都有信息过剩的嫌疑,但是在技术研究方面,人们对字节这家公司的了解还是很少的。
前几天杨震原(字节VP)参加字节奖学金颁奖活动,讲了一些字节技术的故事。业内讨论好像不多,但还是值得一看的,有很多出人意料的地方。
关于耐心、赛马
- 先说2014年,字节做了万亿特征规模的推荐系统。那是十多年前,做推荐的就很少,更没有这么大规模的。一家创业公司,用5个人的团队就做成了。
- 在我看来,更离谱的是这5个人不光要写推荐算法,要搞定大规模的软硬件工程,还用两个人分头研究不同的算法优化器。一种叫 SGD-FTRL 的优化器当年就成功上线,后来 SGD 成为业界的主流方法。另一种叫CDN(Coordinate Descent Newton)的方法持续研究了两年,2016年才放弃。这还是那个传说中「缺乏耐心」的字节吗?
- 我觉得这是字节式「赛马」——面对未知的技术领域,探索不同可能性。这不是内部PK,更不是重复造轮子。按杨震原的话说,「CDN优化器项目组里的同学,后来转到了机器学习的其他方向,负责公司很重要的业务。虽然项目并不成功,公司还是很认可他们的探索。」
- 另一个例子是PICO。之前有很多人说PICO「凉了」,字节要放弃PICO。但是杨震原给出了完全相反的回答,「23年开始,我们在XR上的技术投入比以前更多」。搭载字节自研XR芯片的下一代PICO新品,将在26年推出。
- 字节在2021年收购PICO,刚开始也是双轨并行:一条路是投入资源运营内容和直播,激进营销;另一条路是研发基础技术,比如自研头显专用芯片等。也是在两年后,字节减少了对PICO的运营和营销,重注押到技术研发上,目标是追求核心体验上大台阶。
- 杨震原透露,PICO自研芯片已经在24年回片,现在已经量产了,能够实现12毫秒左右的低延迟,改善头显设备带来的眩晕感。PICO合作研发定制的MicroOLED,PPI(像素密度)做到近4000(iPhone 17 Pro Max的PPI是460),模拟人眼视角的清晰度指标PPD(每度像素数)平均值达到40,超过苹果VisionPro平均PPD34的清晰度。这就可以拓展更多应用场景,而不只是玩玩3D游戏。
关于基础科研
- 字节做产品过于成功,以至于被贴上「APP工厂」的标签。这次杨震原讲到了很多人忽略的一个事情,AI for Science。
- 字节搞基础科学研究是从2020年开始,当时顾问是鄂维南院士,很多人可能不熟,其实AI for Science这个概念就是鄂维南提出的。从第一性原理计算的量子化学,到蛋白质结构预测、设计,以及分子动力学,字节都组建了团队专门投入研究,目前也做出了一些业界SOTA的成绩。字节的研究也不光是在实验室,他们研究的分子动力学力场框架,被比亚迪用于兆瓦闪充电池的研发。
- 中科大袁岚峰老师的评价,人们的印象是许多外国企业愿意投资做基础研究,例如贝尔实验室、IBM、Google,而中国企业大多只愿意做应用研究。但是在AI for Science时代,字节这样的企业进步很大,尤其是在量子科学硬核基础研究方向的探索,非常难能可贵。
- 比如杨震原讲了NNQMC(神经网络量子蒙特卡洛方法)用于研究拓扑绝缘体。我大概理解了下,就是要研究一种几乎不发热、又能在器件边缘通电的物质。如果能用于芯片,可以解决很大的能耗问题。
- 2024年的诺贝尔化学奖,授予了Google DeepMind的两个工程师,以表彰他们在计算蛋白质设计和蛋白质结构预测领域作出的贡献。字节去年也开源了一个蛋白质模型Protenix,据说在学术界反响不错,最近又提出一个新的蛋白设计方法PXDesign,在一些任务上超过了DeepMind的AlphaFold系列模型。
- 字节连续两个季度营收超过Meta,成为全球收入最高的社交媒体平台。但是他们内心一定更渴望追逐和超越的是Google。
关于大模型
- 在杨震原的分享中,当前最热门的大模型,反而说得不多。他回顾了字节技术团队有人在21年训了一个大模型,但不知道有什么用,在搜索上试了下,提升幅度很小,计算成本又增加很多。当时就没再继续做下去。杨震原自嘲:「所以还是很没眼光。」
- 训练大模型的成本相当高,尤其是2021年,完全是摸着石头过河。杨震原没有提字节的技术研究是怎么立项和决策的,但是在完全不知道怎么用的情况下,字节的研究人员就可以花掉公司数以千万的成本探索新的技术方向,这个自由度真的是很大。
- 字节从2022年后饱和式投入大模型,依然定了很高的目标。比如构建自主数据生产体系,追求上限不走「蒸馏」捷径,还有Seed Edge计划等等。杨震原个人提到两个判断,一个是大模型要有持续学习能力,二是提高和世界交互的能力。怎么样,看起来是不是更像是对人类的定义?
用推荐系统解决信息分发问题,用科学计算模拟世界现象,研究下一代交互和计算平台XR,再到用大模型创造新的人机协作方式。从杨震原分享的4个技术领域可以看到,字节这家公司,根基是要用技术解决好本质问题,各种产品是在这个树根上生长而出的枝叶和果实。
做好技术的基础则是人才。杨震原出席的这个字节奖学金活动,已经举办5届了,是要奖励做出优秀科研成果的在校学生,更是要吸引他们将来加入字节。这届不仅获奖人数增加到20个(上届15个),奖金也从10万翻倍到20万,而且字节还为每位获奖学生的导师奖励10万元。这算盘打的,就差拉着导师们的手说,快把你们的优秀学生都推荐过来吧。
杨震原分享原文:http://t.cn/AXLj7Gki
发布于 北京
