大模型想读懂长上下文，先要跨过 Softmax 注意力的复杂度|Softmax 注意力|大模型|长上下文_新浪新闻

机器之心Pro

26-10-18 17:02 微博认证：机器之心官方微博

Softmax 注意力的平方复杂度，一直是大模型迈向长上下文的最大拦路虎。 http://t.cn/AXl3csfh