谷歌发布新一代开源模型Gemma 2：性能与效率齐飞

谷歌在I/O Connect大会上正式发布其最新开源模型Gemma 2，提供90亿（9B）和270亿（27B）参数两个版本。Gemma 2的27B版本经过13T tokens训练，9B版本则是8T tokens训练，均配备8192k的上下文窗口，可以在Google AI Studio中使用。谷歌还计划推出26亿参数（2.6B）的小版本，可在手机本地运行。

在LMSYS Chatbot Arena的盲测中，270亿参数的Gemma 2指令微调模型击败了拥有700亿参数的Llama 3，超过了Nemotron 4 340B、Claude 3 Sonnet、Command R+和Qwen 72B等模型，成为所有开源权重模型中的冠军。9B模型则在15B以下参数模型中表现最佳。

谷歌此前发布的轻量级开源模型Gemma，仅有2B和7B参数版本，下载量超过1000万次。新推出的Gemma 2在性能和推理效率上均显著提升，覆盖从20亿到270亿参数。270亿参数的Gemma 2提供了与大模型竞争的替代方案，可在单个英伟达A100/H100 Tensor Core GPU或TPU主机上高效运行，降低部署成本。

在Hugging Face基准测试中，Gemma 2 27B表现优于Qwen1.5 32B，仅比Llama 3 70B低几个百分点。Gemma 2采用了重新设计的架构，具有三大特点：交替使用局部-全局注意力机制和分组查询注意力，使用知识蒸馏训练较小模型，以及针对高性能和推理效率的切分训练基础设施。

Gemma 2在编程、数学、推理和安全等能力上比1.1版本有显著提升，27B模型在多个基准测试中均提供了最佳性能。该模型还优化了在单个谷歌云TPU主机、英伟达A100 80GB Tensor Core GPU或H100 Tensor Core GPU上高效运行，降低了成本。

谷歌发布的Gemma 2兼容Hugging Face Transformers、Keras 3.0、vLLM、Gemma.cpp、Llama.cpp和Ollama等主要AI框架，支持多种硬件快速推理。从下个月起，谷歌云客户可以在Vertex AI上部署和管理Gemma 2，并使用新的Gemma Cookbook进行应用开发和微调。

谷歌在训练Gemma 2时严格遵循安全流程，过滤了训练数据，并进行了全面的测试和评估，确保模型的安全性和代表性。Gemma 2现在可以在Google AI Studio中使用，用户可以在Kaggle和Hugging Face Models下载模型权重，Vertex AI Model Garden也即将推出。学术研究人员可以申请Gemma 2学术研究计划，获得谷歌云积分，以加速对该模型的研究。