#听不懂的汽车黑话# 久等了！今天与@小魏同学cc 一起，带来咱们迟来的「聊聊姜来」第5期 ☕️
小魏同学问：上期讲了多头注意力，让模型能同时从多个角度理解句子。那如果把模型搭得很深，会不会出问题？
我说：会。深层网络训练时，每一层的输入分布都可能变化，导致梯度不稳定、训练慢。得给模型加个“稳压器”。
小魏同学又问：那这个“稳压器”长什么样？怎么让模型堆到上百层还不崩？
我说：归一化就是大模型的“稳压器”，至于怎么用——请大家查看这期内容👇
#长城汽车##AI##技术笔记##大模型#
发布于 河北