南一科技说
26-07-04 13:06 微博认证:数码博主 视频自媒体

AI 蒸馏到底是什么?

最近聊大模型,经常会看到一个词:AI 蒸馏。
听起来有点像化学实验: 把一个大模型放进锅里蒸一蒸,然后得到一个小模型?
当然不是。

AI 蒸馏,更准确地说叫 知识蒸馏。 它的核心意思是:让一个小模型去学习大模型的能力,把大模型里有用的“经验”迁移到小模型身上。#如何看待AI模型蒸馏#

发布于 山东