[CL] Gemma: Open Models Based on Gemini Research and Technology
http://t.cn/A6YFNZ7Q
介绍了Google DeepMind团队开发的Gemma模型,这是一组基于Gemini研究和技术构建的轻量、开放的最新模型。Gemma在语言理解、推理和安全性方面在学术基准测试中展现出强大的性能。发布了两种规模的模型(20亿和70亿参数),提供了预训练和微调的检查点。Gemma在18项文本任务中的11项上超越了同等规模的开放模型,并对模型的安全性和负责任进行了全面评估。Gemma利用了基于Transformer的架构,优化了多查询注意力、RoPE嵌入、GeGLU激活函数和RMSNorm等技术。训练使用了TPUv5e硬件和先进的分布式系统技术。强调了负责任发布大型语言模型(LLM)对于提升前沿模型安全性、促进技术公平获取、严格评估现有技术和驱动创新的重要性。
发布于 海南
