技术博客：置身transformer之内：Token的一生
地址：www.aleksagordic.com/blog/transformer

“本文会深入剖析一个现代稠密 Transformer：YaRN、混合注意力、软截断、QK 归一化、每 token FLOPs、集群规模估算等。
在这篇文章中，我将深入剖析一个现代稠密 Transformer 的内部机制。我将只关注单个 GPU 上的前向传播，就好像我们即将执行一个训练步骤一样，同时忽略反向传播和分布式系统的细节（在实践中，大型 Transformer 在训练和推理时都会被切分到多个设备上）。作为贯穿全文的示例，我将使用 Rnj 1.5 的确切架构——这是我和 Ashish Vaswani 的 AI 实验室（Essential AI Labs）的团队一起参与开发的一个模型。”
#AI创造营#