#听不懂的汽车黑话# 久等了！今天与@小魏同学cc 一起，带来咱们「聊聊姜来」第6期 ☕
小魏同学问：上期讲了自注意力机制，让每个词都能“看到”全局上下文。那这些信息怎么进一步加工？
我说：光“看”还不够，还得“想”。这个“深度思考”的任务，就交给前馈网络（FFN）——它用“升维-激活-降维”三件套，对每个词独立做非线性变换，相当于给模型装上“思维模具”。
小魏同学又问：那FFN的“配方”一直不变吗？
我说：早升级了！从ReLU到GELU，再到现在的SwiGLU，多了一个“门控机制”，让模型能更精准地过滤和提取特征，收敛更快、准确率更高。至于怎么把这么多模块拼成完整编码器？Pre-Norm为什么成为主流？答案都在这一期👇
#AI# #长城汽车# #技术笔记##大模型#