作家 | ZeR0 程茜剪辑 | 漠影
OpenAI的12天“圣诞大礼包”还没熄火，谷歌俄顷“插队”放出年末大招！
智东西12月12日报说念，当天，谷歌重磅发布其迄今最纷乱的AI大模子Gemini 2.0，新功能包括原生图像生成和音频输出的多模态输出，并复古原生调用谷歌搜索、舆图、Lens等器具。
其第一款新模子是Gemini 2.0 Flash的实验版块，速率是1.5 Pro的两倍。谷歌称，这款新模子专为AI Agent期间而筹画，主打多模态+AI Agent。
基于Gemini 2.0 Flash，谷歌推出一大波AI Agent新品，包括本年5月震荡业界的通用AI助手原型Project Astra，还有梗概行动实验性彭胀在谷歌浏览器中完成多弱点复杂任务的Project Mariner，以及实验性AI编程Agent Jules、游戏Agent。
Gemini 2.0的发布，打响了迈向AI Agent新天下的弱点一枪。
谷歌CEO桑达尔·皮查伊（Sundar Pichai）说：“若是说Gemini 1.0是对于组织和意会信息，那么Gemini 2.0是对于使其愈加有效。”这亦然其专注于AI Agent、多模态输出的原因所在。
Gemini和Gemini Advanced用户可在桌面端的模子下拉菜单中采纳聊天优化版Gemini 2.0来试用。开导东说念主员可通过Google AI Studio和Vertex AI在Gemini API中运哄骗用此模子进行构建。
本周，谷歌运行在搜索的AI概览中测试Gemini 2.0。1月份，Gemini 2.0 Flash将全面上市，同期将推出更多模子尺寸。来岁年头，谷歌会将Gemini 2.0彭胀到更多谷歌家具中。
Gemini 2.0背后的中枢硬件也郑重揭晓——Trillium TPU。
谷歌文书其最强AI芯片Trillium TPU开阔可用，还详备先容了谷歌云AI超等预计机架构，包括可集成卓绝100，000颗Trillium芯片的Jupiter汇聚。Trillium不仅在西宾密集型大谈话模子、MoE模子上性能更强，而且AI西宾和推感性价比更高。亚洲AI大模子独角兽AI21 Labs已使用Trillium来开导谈话模子。
此外，谷歌发布了一款名为Deep Research（深度研究）的全新AI器具。该器具擅长作念研究责任，突出于一位AI研究生，帮你只用几分钟就能完成正本需要数小时的研究。
用户输入问题后，它会创建一个多弱点研究商量，在用户修改及批准后运行调用Gemini机器东说念主深入分析来自网上的关联信息，并凭证其弱点发现生成一份详备的空洞报告，并排上信息起首聚合。用户不错条目Gemini彭胀某些鸿沟或诊疗报告，并将AI生成的研究导出到谷歌文档。
该器具面前仅向Gemini Advanced订阅者提供英文版，并将于来岁年头在迁移App中提供。
一、Gemini 2.0首款模子发布！多模态输出、原生调用器具、四大Agent谷歌的官方博客深化，Gemini 2.0 Flash在弱点基准测试中的速率是1.5 Pro的两倍。
除了复古图像、视频和音频等多模式输入外，Gemini 2.0 Flash当今还复古多模态输出，举例与文本混杂的原生生成的图像和可垄断的文本转语音（TTS）多谈话音频，还不错原生调用谷歌搜索、代码履行以登科三方用户界说函数等器具。
为了匡助开导东说念主员构建动态和交互式应用范例，在此基础上，谷歌还发布了具有及时音频、视频流输入以及使用多个组合器具的才略的Multimodal Live API。
在AI Agent方面，谷歌文书了对实验性功能的更新，包括通用AI Agent Project Astra、多弱点任务AI Agent Project Mariner、AI编程Agent Jules、游戏Agent。
1、通用AI Agent Project Astra：记取10分钟视频，更强agent才略
还铭刻谷歌本年5月展示的通用AI助手研究原型Project Astra吗？
这是一个全视、全听和全驰念的实验性AI助手，展示了通用AI助手的往时功能。你通过安卓App或原型眼镜来纪录看到的天下，AI助手不错及时处理文本、图像、视频、音频，分析它所看到的施行并回答庸俗的问题，还忽闪多国谈话。
由Gemini 2.0提供复古的Project Astra更新版块，不错达成Agent（代理）才略。其最新篡改包括：
反差调教更好的驰念：本年5月谷歌展示了早期版块只可记取45秒的视频，当今它依然能驰念10分钟的视频了，不错记取用户与其进行的更多对话和个东说念主偏好，更具个性化。更好的对话： 能使用多种谈话和混杂谈话进行交谈，而且梗概更好地意会口音和不常见的单词。新器具用途：使用Gemini 2.0的内置Agent框架，通过文本、语音、图像和视频回答问题并履行任务，在需要时调用谷歌搜索、Lens、舆图等应用。改善延伸：借助新的流媒体功能和本机音频意会，Agent以与东说念主类对话换取的延伸意会谈话，使对话嗅觉更当然。
谷歌正在扩大Project Astra的测试范围，将新的反映纳入更新中，包括优化其对多样口音及不常见单词的意会、减少延伸、将其集成到一些谷歌家具（如搜索、Lens、舆图等）。
*后文有更详备的功能演示。
2、多弱点任务AI Agent Project Mariner：最好责任终局83.5%，为保证安全面前需东说念主类介入
Project Mariner是谷歌在Gemini 2.0模子基础上发布的一个实验性功能，其不错完成多弱点的复杂任务。
行动研究原型，Project Mariner梗概意会和推理浏览器屏幕上的信息，包括像素和文本、编程、图像和表单等汇聚元素，然后通过实验性的谷歌彭胀范例使用这些信息完成任务。
谷歌官方博客深化，凭证WebVoyager基准进行评估，该基准测试Agent在端到端确凿天下汇聚任务上的性能，Project Mariner行动单一Agent培育达成了83.5%的最好责任终局。
在演示中，Project Mariner不错同期完成获取表单、找到公司官网、筹商口头等多弱点任务，Agent会自动履行在谷歌搜索中查找电子邮件的过程，且这一过程顶用户不错随时点击暂停和罢手。同期，用户不错看到Agent每一步步履的推理弱点和商量。
尽管面前Project Mariner履行任务时较慢且并不老是准确，但从本领上讲，这标明了在浏览器中导航依然成为可能。
面前，该代理在完成任务时需要东说念主类介入，如Project Mariner只可在浏览器的举止选项卡中键入、飘摇或点击，而且它会在用户履行某些购买等敏锐操作之前条目用户进行最终说明。
3、AI编程Agent Jules：平直集成GitHub，长期目的是构建通用Agent
谷歌还在探索Agent Jules的更新。Jules是一种平直集成到GitHub责任经过中的实验性AI驱动的编程Agent。
Jules不错料理问题、制定商量并履行它，统共过程皆在开导东说念主员的指挥和监督下进行。在这一鸿沟，谷歌的长期目的是构建在统共鸿沟（包括编程）皆有匡助的AI Agent。
4、游戏Agent：视频游戏导航，凭证游戏动作推理、及时对话充任游戏交流
谷歌使用Gemini 2.0构建了游戏Agent，不错匡助用户在视频游戏的假造天下中导航。Agent不错仅凭证屏幕上的动作来推理游戏，并在及时对话中提供下一步操作的建议。
面前，研究东说念主员在与Supercell等游戏开导商勾搭，探索这些Agent从《部落缓和》等计策游戏到《Hay Day》等农业模拟器，在多样游戏中诠释注解规章和挑战的才略。
往时，谷歌还在进修不错通过将Gemini 2.0的空间推理功能应用于机器东说念主本领来在物理天下中提供匡助的Agent。
三、通用AI助手原型升级！能存储10分钟视频，开启Agent期间谷歌发布了由Gemini 2.0提供复古的Project Astra更新版块的新演示视频。
测试者拿着安设了最新测试版Project Astra的Pixel手机，在伦敦隔邻遛弯并进行测试。比如收到包含公寓信息的电子邮件，你不错让AI助手告诉你门的密码，并记取它。洗一稔时，把一稔标签、机器图标拍给AI助手，它会告诉测试者正确的洗一稔口头。
测试者把保举列表拍给AI助手，它能搜索列表中的场所，给出相应的信息。
当测试者走在街说念上，扫过食品、雕琢或花草，AI助手皆能为筹商作出解答。
测试者还把一又友在读的书发给AI助手，让它保举稳妥一又友喜好的礼物，并策动一又友可能感风趣风趣的点。
当偶遇一辆公交车，测试者问AI助手“那辆公交车能带我去唐东说念主街隔邻吗？”AI助手会恢复说：“是的，24路公交车经过莱斯特广场，离唐东说念主街很近。”测试者连续追问路上有什么路标，AI助手也作出流利地恢复：“你可能遭受的驰名地标是威斯敏斯特大教堂、大本钟和特拉法加广场。”
除了使用手机外，测试者也戴上原型眼镜来使用Project Astra，并提议让它查看天气预告、筹商控制的公园是什么、查询能否骑自行车投入、这条路是否有超市等问题。
面前该AI助手仍有好多局限性，比如无法造访个东说念主的电子邮件或像片，在嘈杂的环境中难以诀别多个声息，而且无法履行培育计时器等操作任务等。
Project Astra家具司理Bibo Xu说：“它正在交融咱们这个期间一些最纷乱的信息检索系统。”
四、基于AI Agent，探索保护用户敏锐信息、除名用户指示计策在安全方面，谷歌在对多个实验原型进行研究的基础上，正通过迭代实施安全培训、与测试东说念主员和外部众人勾搭，进行庸俗的风险评估以及安全和保证评估。
谷歌与拖累与安全委员会 （RSC） 勾搭以识别和了解潜在风险。Gemini 2.0的推理功能使其AI扶持红队方法取得紧要率先，包括纯粹单地检测风险到自动生成评估和西宾数据以裁汰风险的才略。由于Gemini 2.0的多模态功能增多了潜在输出的复杂性，其将连续在图像和音频输入和输出方面评估和西宾模子，以匡助提升安全性。通过Project Astra，谷歌正在探索针对用户巧合中与代理分享敏锐信息的潜在缓解按序，而且其依然内置了隐秘为止功能，使用户不错应付删除会话。他们还在连续研究以确保AI代理充任可靠的信息起首，而且不会代表您采纳巧合操作。通过Project Mariner，谷歌正在尽力确保模子学会优先商量用户指示，而不是第三方的指示注入尝试，以便它不错识别来自外部起首的潜在坏心指示并谛视滥用。这不错谛视用户通过电子邮件、文档或网站中装潢的坏心指示等口头受到欺骗和汇聚垂钓报复。五、Gemini 2.0背后的硬件元勋：谷歌最强AI芯片Trillium TPU开阔可用全新Gemini 2.0由谷歌本年发布的Trillium TPU西宾而成。Trillium是谷歌第六代TPU，亦然迄今性能最高的TPU。
其比较上一代芯片的优化包括：卓绝4倍的西宾性能，高达3倍的推理申辩量，能效提升67%，每颗芯片峰值预计性能提升4.7倍，HBM容量翻倍，单个Jupiter汇聚有10万颗TPU，高至2.5倍的每好意思元西宾性能、1.4倍的每好意思元推感性能。
当天，谷歌文书如今Trillium TPU面向谷歌云客户开阔可用。
Trillium TPU是谷歌云AI超等预计机的弱点构成部分，其架构采纳了性能优化的硬件、洞开的软件、率先的机器学习框架和机动的浮滥级模子的集成系统。谷歌还对洞开软件层进行了增强，包括对XLA编译器和流行框架的优化，以在AI西宾、调优和干事方面达成大规模的率先性价比。
此外，使用无数主机DRAM（补充HBM）进行主机卸载等功能，提供了更高的成果。
每个Jupiter汇聚结构卓绝100，000颗Trillium芯片，具有13Pbps的对分带宽，梗概将单个分散式西宾任务彭胀到数十万个加快器。
以色列AI大模子独角兽AI21 Labs已使用Trillium来加快开导下一代复杂谈话模子。
1、彭胀AI西宾责任负载
Trillium通过部署12个包含3072颗芯片的pod达成了99%的彭胀成果，并在24个包含6144颗芯片的pod中展示了94%的彭胀成果，以预西宾gpt3-175b。
谷歌使用4片的Trillium-256芯片行动基准，使用1片的Trillium-256芯片行动基准，当彭胀到24个pod时，仍可取得卓绝90%的彭胀成果。
在西宾Llama-2-70B模子时，测试标明，Trillium以99%的彭胀成果达成了从4片Trillium-256芯片pod到36片Trillium-256芯片pod的近线性彭胀。
2、西宾密集型和MoE大模子
与前几代家具比较，Trillium TPU具有更好的彭胀成果。下图表中，其测试展示了与同等规模的Cloud TPU v5p集群比较，Trillium在12 pod规模下的99%彭胀成果（总峰值FLOPS）。
与上一代云TPU v5e比较，Trillium为密集大谈话模子（如Llama-2-70b和gpt3-175b）提供高达4倍的西宾速率，为MoE模子提供了比上一代云TPU v5e快3.8倍的西宾。
与Cloud TPU v5e比较，Trillium TPU提供了3倍的DRAM。在西宾Llama-3.1-405B模子时，凭证模子FLOPs利用率（MFU）测量，Trillium的主机卸载功能可将性能提升50%以上。
3、优化推感性能和汇聚调遣
Trillium也为图像扩散模子和密集大谈话模子提供了最好的TPU推感性能。其测试标明，与Cloud TPU v5e比较，Stable Diffusion XL的相对推理申辩量（每秒图像）提升了3倍以上，Llama2-70B的相对推理申辩量（每秒token）提升了近2倍。
Trillium是谷歌在离线和干事器推理用例中性能最高的TPU。下图深化，与Cloud TPU v5e比较，Stable Diffusion XL的离线推理相对申辩量（每秒图像数）提升了3.1倍，干事器推理相对申辩量提升了2.9倍。
除了更好的性能，Trillium还引入了一个新的辘集调遣功能。这个特质允许谷歌的调遣系统作念出智能的功课调遣决议，从而在一个辘集中有多个副本时提升推理责任负载的总体可用性和成果。
它提供了一种料理运行单主机或多主机推理责任负载的多个TPU片的方法，包括通过谷歌Kubernetes Engine（GKE）。将这些片分组到一个辘集中，不错很容易地诊疗副本的数目以温存需求。
4、提升镶嵌密集型模子性能
第三代数据流处理器SparseCore更擅长加快动态和数据依赖操作。引入第三代SparseCore的Trillium将镶嵌密集型模子的性能提升了2倍，将DLRM DCNv2的性能提升了5倍。
5、提升西宾和推感性价比
Trillium还旨在优化每好意思元的性能。迄今为止，在西宾密集大谈话模子（如Llama2-70b和Llama3.1-405b）中，Trillium的每好意思元性能比Cloud TPU v5e提升了2.1倍，比Cloud TPU v5p提升了2.5倍。
在Trillium上生成1000张图像的本钱比离线推理的Cloud TPU v5e低27%，比在SDXL上进行干事器推理的Cloud TPU v5e低22%。
结语：大模子狂飙冲向Agent期间
通用东说念主工智能（AGI）热战在年末愈演愈烈。从亚马逊、OpenAI、Meta到谷歌，一系列重磅发布将大模子的竞争口头推向了新的激越。
其中谷歌是少有的同期在大模子、云表基础设施、端侧智能方面同期占据上风的头部大模子企业。
在热火朝天的大模子竞赛中，执掌安卓操作系统的谷歌对端侧智能意会距离最近、意会最深。通过当天的一系列发布，谷歌进一步强化了Agent（代理）在智高东说念主机、智能眼镜等端侧培育上的诱东说念主远景。在更纷乱模子加握下，Agent将梗概更庸俗地为东说念主类代劳，帮东说念主类了解周围天下，提前进行多弱点念念考，并在东说念主类的监督下采纳步履。
但AI系统仍具有突出多的不行控性。包括谷歌在内，大模子公司在将天下推向Agent期间的同期，必须戮力确保低风险porn 动漫，为止好安全的见解盘。