推测解码（Speculative Decoding）是谷歌等机构在 2022 年发现的大模型推理加速方法。它可以在不损失生成效果前提下，获得 3 倍以上的加速比。GPT-4 泄密报告也提到 OpenAI 线上模型推理使用了它。针对如此妙的方法，香港理工大学、北京大学、MSRA 以及阿里共同推出了一篇关于推测解码的综述， 帮助读者了解推测解码的前世今生和应用情况，值得一读。 http://t.cn/A6YKJutB