【百度开放文心 5.5 Flash Base 权重，推理支持百万 Token 上下文】 #百度文心#

百度把文心 5.5 Flash 的基座权重放出来了。Hugging Face 和魔搭都能下载，提供 FP8 和 BF16 两种精度。

这次的两个数字可以分开看：模型一共有 2800 亿参数，每处理一个 Token 会用到其中 140 亿。它从头训练时用了 33.5 万亿个 Token，预训练的上下文最长为 128K。

要拿基座继续微调，或是部署后处理长文档，百度给出的最长上下文是 100 万 Token。模型卡里也有 SGLang 和 vLLM 的部署步骤。

#文心5.5Flash#