Transformer 架构的三个结构性边界|transformer|序列生成|互联网规模数据|机器人

Transformer非常强大，但它的优势也同时暴露出三个结构性边界：序列生成、对互联网规模数据的依赖，以及通过词元来表示世界。当AI从文本、代码、图像和视频走向制造、市场、机器人等由连续变量和复杂状态关系构成的系统时，这些边界会变得更加突出。理解这些边界并不是否定今天的大模型，而是为了看清下一代 AI 架构可能从哪里出现。