#刘知远认为智能未来会分布式存在#【从 “更大更强” 到 “更小更强”：密度法则、RL 的 Scaling Law 与智能的分布式未来丨晚点播客】今年 11 月，清华大学、开源组织 OpenBMB 与面壁智能的联合研究登上《自然·机器学习》封面——Densing Laws of LLMS（《大模型的密度法则》：每 3.5 个月，模型的能力密度翻一倍。

过去几年，大模型演进的明线是 “规模法则”（Scaling Law）带来的能力跃迁。大模型在编程、生图、设计等能力上，达到甚至超越了人类水平。另一方面，模型性能竞赛也带来巨大的资源消耗，连 OpenAI 也因资源不足出现分歧。

密度法则，就是关注如何用更少计算和数据资源，更高效地得到更多智能。对密度目标的追求，会加速手机、汽车、机器人等端侧智能发展，促进分布式智能和每个人的 “专属大模型”。

本期《晚点聊》，我们和密度法则的研究者，清华大学计算机系副教授、面壁智能首席科学家刘知远，以及清华博士后、面壁智能 MiniCPM 系列文本模型负责人肖朝军讨论了：

密度法则的背景和核心洞察；
提升模型能力密度的具体方法；
强化学习还没有出现 Scaling Law，由此引起的两个探索方向；
自主学习与分布式端侧智能的未来。

2023 年全国端侧算力（主要是手机）是数据中心算力的 12 倍。过去几十年的信息化，本质上是一个分布式算力和分布式信息的结构。

刘知远认为，智能未来也会分布式存在。这个过程中，密度法则指引的效率提升尤为重要。

2023 年初有巨头说 “全球只需要几个大模型”，这和 1943 年 IBM 董事长说 “世界只需要五台计算机” 如出一辙。

但未来的智能大概率是分布式存在的，每个人都有一个属于自己的智能体。如果模型具备自主学习能力，那么终端上的模型就能基于用户的个人数据持续成长，最终形成一个 “个人大模型”，成为你最懂你的那个助手。#刘知远称AGI的雏形是AI造AI# http://t.cn/AXysSpsm