DC娱乐网

谷歌开源了一个东西,是那些闭源大厂最不愿意放出来的东西。 可能有朋友还记得,去年谷歌曾发布 EmbeddingGemma,一个纯文本嵌入模型,特点是参数小、能跑端侧,但只能处理文本。这一次,谷歌做了更新,把代码、图像、视频、音频全部打通,装进了同一个向量空间里。 这意味着什么?意味着用户不再需要

谷歌开源了一个东西,是那些闭源大厂最不愿意放出来的东西。

可能有朋友还记得,去年谷歌曾发布 EmbeddingGemma,一个纯文本嵌入模型,特点是参数小、能跑端侧,但只能处理文本。这一次,谷歌做了更新,把代码、图像、视频、音频全部打通,装进了同一个向量空间里。

这意味着什么?意味着用户不再需要为文本建一套索引、为图片建一套索引、为视频再建一套索引。一套模型可以对所有模态进行统一映射。多模态 RAG 从"理论上可行"变成了"手机上能跑起来"。这是一种突破。

同时,上下文窗口从上一代的 2K ,拉升到了 8K,参数总量达到 740M,其中文本模块约 270M、视觉约为 170M、音频约有 300M。量化以后,在 Pixel 11 Pro 上,纯文本活跃内存约 191MB,全多模态约为 567MB。

这个体量意味着什么?咱们手机里随便一个社交 App 的内存占用,都比它大!

其代码能力也提高了。MTEB Code 从 68.76 到了 78.68,上涨接近 10 分。本地代码索引、语义代码搜索、给编程 Agent 做检索……端侧就能干,不需要到云端。

但是,这个项目真正有意思的,是它在暗示一条路。

你看,医疗、法律、金融、政务这些场景,对数据合规的要求很苛刻对吧,很多数据不能出本地。过去,做检索增强生成时要么接受隐私风险,把数据发到云端,要么从头训练一个模型。

这次升级的EmbeddingGemma 2,提供了一个可以本地部署的检索底座,开源、可审计和量化压缩。

与此同时,相册、网盘、会议记录、安防视频……这里都是多模态数据。嵌入模型能可以同时理解文本、图像、视频、音频,并且在设备上跑。

综上所述,谷歌的这次开源,不光是发了个模型,还是在定义一套端侧多模态检索的基础设施标准。其意义还是很值得关注的。

项目地址:t点cn/AXWkJqGZ作者加速成长计划