蚁工厂
26-11-21 11:45 微博认证:科技博主

Google Gemma团队发布了一个官方交互式教程,解释LLM是如何工作的(当然是以Gemma为例,也介绍了Gemma 4 的架构优化内容)
地址:gemma.ai/learn/how-llms-work/
#微博视频号续航计划#
教程把 LLM 的工作过程拆为五个阶段:
① Tokenization:将文本拆成 Token 并映射为整数 ID;
② Embeddings:将 Token 转换为高维向量,使模型能够学习语义关系;
③ Attention & Transformer Layers:通过 Q、K、V 注意力机制关联上下文,再由 FFN 或 MoE 网络处理信息;
④ Sampling:将模型输出转换为词表上的概率分布,使用 Temperature、Top-K、Top-P 控制下一 Token 的选择;
⑤ Chat & Tools:通过聊天模板、特殊控制 Token、推理模式及工具调用,把逐 Token 预测过程组织成完整的助手行为。 http://t.cn/AXTMb7S3

发布于 山东