快速响应、轻量化的开源模型–Gemma

2月22日,Google发布了轻量化开源模型Gemma:gemma (ollama.com)。Gemma 是一个轻量级、最先进的开放式模型系列,采用与创建 Gemini 模型相同的研究和技术构建。Gemma 由 Google DeepMind 和 Google 的其他团队开发,灵感来自双子座,这个名字反映了拉丁语 gemma,意思是“宝石”。此链接为Gemma的详细介绍:Gemma:Google 推出最先进的新开放模型 (blog.google)

在多项基准测试中,Gemma 7B的得分,都超过了拥有130亿参数的LLAMA 13B模型。

从Google提供的报告可以看出,Gemma模型在各种 Web 文档数据集上进行训练,以使其具有广泛的语言风格、主题和词汇。这包括用于学习编程语言的语法和模式的代码,以及用于掌握逻辑推理的数学文本。

和大语言模型不同的是,轻量化模型可以直接在笔记本和桌面端运行,以适应不同应用场景的需要。此外Nvidia也和Google进行合作,提高Gemma的推理速度和微调能力。Nvidia提供了Gemma在线体验页面,以Gemma 2B模型为例,提出一个问题即可获得详细的答案。

使用Gemma 7B模型,提出和代码相关的问题,也可以快速提供答案,或者使用中文提问,也可以输出对应的结果。Perplexity labs也在第一时间添加了Gemma模型到Playground:Perplexity Labs,选择对应的模型即可使用。下面打开网址,我做一下演示:

提出一个中文问题“什么是回忆,怎么提高记忆力?”,在以gemma 7b模型输入时,从记忆技巧、注意力专注力、睡眠、药物等方面来回答如何提高记忆力。输出速度可达每秒200 TOKEN,响应速度可以达到毫秒级,回答的内容也十分准确和详细。

下面尝试一个英文问题“How to improve interpersonal skills?”

上图可以查看输出的回答,

切换到其他模型,也可以输出非常详细的答案。如果想要在本地运行Gemma,也可以使用Olegma工具,完成一键本地部署。

感兴趣的同学可以在上面网站尝试该模型。

发表回复