介绍 SubQ - LLM 智能领域的重大突破。

它是第一个基于完全次二次稀疏注意力架构（SSA）的模型，

并且是第一个拥有 1200 万 token 上下文窗口的前沿模型，其特点是：

- 在 100 万 token 时比 FlashAttention 快 52 倍
- 成本不到 Opus 的 5%

基于 Transformer 的 LLM 通过处理单词之间所有可能的关系（标准注意力）来浪费计算资源。

实际上只有一小部分真正重要。

@subquadratic
找到并仅关注那些真正重要的关系。

这几乎减少了 1000 倍的计算量，并为 LLM 的扩展提供了新方法。