内嵌在Chrome中的谷歌Gemini AI Nano 模型在本地部署使用,响应速度比Phi3,LAMMA3快的多

两周前就准备测试的,但是一直有坑,下载了两周也没出现,今天看到个教程,终于可以下载离线模型了,给大家分享一下坑。

我在这里说一下自己遇到的坑。

  • 首先就是Chrome版本的问题,小蓝鸟上别人分享只要是这些版本就可以( Please make sure you are using Chrome ([Dev]/ [Canary]) version 127 or higher.)。但是,为了Canary实在不稳定,我就选择了Dev版本,然后就没然后了,刚刚下载了Canary版本,其他设置一样,里面出现可以下载离线模型了。还有很多教程直接没写版本,只要是version 127 or higher就可以,更是大坑。
  • 第二个坑就是注意显卡,需要显卡内存大于等于4G,我是4G可以下载,还有在Windows里设置Chrome Canary浏览器以高性能模式运行。

上面就是比较坑的地方,如何设置后没有出现 Enabled BypassPerfRequirement 提示,重启一下浏览器,或者直接重启电脑,检查浏览器更新。如果还没有,那就是不行,反馈一下情况再具体看一下原因,等待是没有用的。

下面就是如何安装的具体流程和步骤

如何安装使用Gemini AI Nano:

我自己跑了一下启用的流程坑还是挺多的,写一下具体的步骤和注意点。

1)需要下载 Chrome 浏览器的 Chrome Canary 版本,当前是128版本,下载地址:Chrome Canary Features For Developers - Google Chrome

2)需要将浏览器语言设置为英文,在设置语言那里面添加英语然后右边三个小点选“设置为浏览器语言”,【仅Windows需要。】

3)打开 chrome://flags 找到 prompt-api-for-gemini-nano 设置为“Enabled”【注意有提示重启浏览器,但不要点,等下一步完成再重启】

4)然后找到 optimization-guide-on-device-model 设置为“Enabled BypassPerfRequirement”,重启浏览器

5)进到 chrome://components/ 找到 Optimization Guide On Device Model ,如果版本显示是0.0.0.0,就后点击“Check for update”。然后就会开始下载模型,模型大约2GB,下载所需时间跟你的网络有关系,我等了几分钟。

注意:如果没有这个选项的话把flags那两个开启的选项禁用之后再重启,然后在开启一次再试试,还不行的话,先执行下面的代码就会出现。

6)自己的网页调用:

然后可以在控制台用这个两个命令测试是否启用,

const model = await window.ai.createTextSession();

await model.prompt("today's date");

这两句需要分别回车。

7)直接打开下面地址就可以体验了:https://chrome-ai-demo.vercel.app/

或者安装插件:https://chromewebstore.google.com/detail/chrome-ai-chrome-built-in/emlpbjnkjcbepocijpjggfmmloipamia

提醒

a) 主要问题2:Optimization Guide On Device Model不出现

  1. Chrome Canary语言仅保留英语,其他都删除后重启浏览器。

  2. 安装Chrome Canary的磁盘至少有22G空闲空间。此项必须满足。

  3. GPU有4G以上显存。Intel 5500不支持。

  4. 因为过程冲要从Google下载Components,所以网络必须通,你懂的。

  5. 过程中折腾了好多遍,使用了各种方法后才成功的。这些方法包括:重启计算机,重启Chrome,删除Chrome的UserData,开着Chrome Canary等待其更新Components,反复修改3,4步设置。

b) 主要问题1:能用了,但过一段时间又不能用了。

出现了一次能用一段时间又不能用的情况,未做修改,隔天升级版本后又好了。

Chrome内置的Gemini AI Nano特点:

  1. **真的很快。**其他类似的 LLM(例如 Phi3 和 LAMMA3)相比,Gemini Nano 的运行速度明显更快。这使其非常适合需要快速响应的实时应用,例如语法检查和翻译。

  2. 可以离线本地运行,无需外部API,不担心弱网络;不用担心敏感数据外泄。

  3. 本地部署,网页可以可以用Javascript直接调用。Gemini Nano 模型存储在您的设备上,而不是在云端。这为您提供了对数据的更大控制权,并确保即使在互联网连接中断的情况下您也能继续使用该模型。

  4. 多种语言支持:支持多达 8 种语言,包括英语、中文、法语、德语、西班牙语、日语、韩语和土耳其语。

在本地运行的是Gemini 3.5B版本

5. 可扩展性: Gemini Nano 旨在可扩展,这意味着它可以随着时间的推移进行改进和更新。这确保您可以继续获得最新的功能和性能改进。

总而言之,Gemini AI Nano 在 Chrome 中提供了一系列令人印象深刻的功能,使其成为各种用户端任务的强大工具。其快速的速度、离线功能、本地部署、多语言支持和可扩展性使其成为寻求功能强大且易于使用的 LLM 的用户的绝佳选择。

以下是一些您可以使用 Gemini AI Nano 的具体示例:

  • 检查语法和拼写错误
  • 实时翻译文本
  • 识别和描述图像
  • 总结文本
  • 创建不同类型的创意文本格式,如诗歌、代码、脚本、音乐作品、电子邮件、信件等
  • 以信息丰富的方式回答您的问题
  • 具备语音转文本STT,文本转语音TTS

随着 Gemini AI Nano 的不断发展和改进,我们可以期待看到它在未来几年中支持的更多创新应用。

为什么不直接用网页版的gemini?

一些操作比如实时翻译,语音转文字,文字转语音,语法纠正,图片识别,本地处理速度远快于API调用,而且可靠性要高。

API调用受限于网络状态,服务端服务负荷等多种因素,可靠性远不如本地处理。

本地处理一些任务,也有助于缓解大规模应用对服务器的压力。目前微软,谷歌都在做嵌入终端设备的AI模型。

4 Likes

感谢!

感谢分享