19 万 token 被挤出显存，2.64 秒恢复，50.1 秒重算，结果没变|cache 分层|显存_新浪新闻

Transformer-周

26-11-15 15:06 微博认证：AI博主

捅咕的cache分层生效了，19 万 token 的前缀被显存挤出后，从内存恢复约 2.64 秒，重新计算约 50.1 秒，输出一致

发布于日本