蒸馏这个事情，我谈谈感想。 一出手都非常大，小蒸馏没价值，没意义。蒸就要大蒸。我知道的情况，搞蒸馏每个月的消费大到惊人，是一个大家都猜不到的数值。。

蒸馏的方法有几种，一种是直接放到预训练语料里面去搞，和其他预训练语料一起融合。另一种就是在已有模型基础上微调，不改模型主参数表，只是做一个旁路参数表，这个好处很多，但是比较容易被发现。或者两种方法结合。

从获取语料的方式看，分为人工构造的prompt生成蒸馏语料和自然人正常对话语料来蒸馏，两种方式，前者为主，后者为辅。

蒸馏总体上是提升模型能力最快，最直接的方式，但是钱花得也是不少。。