2023 年人工智能与开源界的风云变幻 [译]
—— 盘点这一年的起起伏伏
作者：SEBASTIAN RASCHKA 博士

原文：http://t.cn/A6WNPaDX

译文：http://t.cn/A6WNPaDa

2023 年即将过去，此刻不失为回首这一年人工智能领域研究成就、产业发展以及开源社区的盛况的好时机。

当然，本文仅捕捉了那些最触动我思绪的热点话题。我还推荐您翻阅档案馆中的 研究亮点 月刊和 AI 前沿 #4-12 系列，那里有对这些主题更全面的深入报道。

2022 年科技趋势的发展

在今年的人工智能产品领域，我们似乎没有见识到真正创新的技术或思想。相对而言，今年的发展更多是基于去年成功模式的深化和扩展：

- ChatGPT 结合了 GPT 3.5 技术升级至 GPT 4
- DALL-E 2 进化为更先进的 DALL-E 3
- Stable Diffusion 2.0 演变成了更大型的 Stable Diffusion XL
- ...

市场上流传一个颇为引人注目的传闻，称 GPT-4 是由 16 个子模块构成的混合专家（MoE）模型，每个子模块据说拥有高达 1110 亿参数（供参考，GPT-3 的参数是 1750 亿个）。

来源于 2023 年人工智能状况报告的 GPT-3 与 GPT-4 的幽默对比图

尽管我们还无法完全确认，但 GPT-4 是基于 MoE（混合专家模型）的可能性非常高。一个明显的趋势是，工业界的研究者们越来越少地在他们的论文中公开信息。打个比方，GPT-1、GPT-2、GPT-3 和 InstructGPT 的论文都详尽地揭露了模型的架构和训练过程，而 GPT-4 如何构建却成了一个秘而不宣的谜。再比如，Meta AI 在其首篇有关 Llama 论文 中详细阐述了训练数据集的内容，但在 Llama 2 模型 中，这部分信息则被保密了。提一句，斯坦福大学最近发布的 The Foundation Model Transparency Index 显示，Llama 2 以 54% 领先于透明度排名，而 GPT-4 以 48% 居第三。

我们也许不能苛求企业分享他们的核心机密，但这种趋势还是颇值得关注。因为看起来，在 2024 年我们将持续这样的发展方向。

在规模扩展方面，今年的另一个趋势是增加了模型处理输入信息的长度。举例来说，与 GPT-4 竞争的 Claude 2 的亮点之一就是它可以处理高达 100k 的输入令牌（而 GPT-4 目前的上限是 32k 令牌），这对于对长篇文档进行总结处理来说非常有吸引力。而它对 PDF 文件的支持，更是在实际应用中增加了它的实用价值。

借助 Claude 2 快速创建 PDF 文件的内容摘要

——

内容太长无法全文转发，请阅读原文：http://t.cn/A6WNPaDX
或者我的翻译版本：http://t.cn/A6WNPaDa