2024-02-26 17:33
领先GPT八条街！实测谷歌Gemini 1.5大模型：识破Sora生成视频，百万级Tokens吞吐断崖式领先
春节假期的最后两天，大模型迎来了今年首个高潮。
今年万众期待的GPT-5，还需些许时日。而Sora视频模型横空出世引发全网热议。
在OpenAI光环过分闪耀之下，咱们也别错过谷歌的新一代模型Gemini 1.5就来了。这家老牌大厂铆足劲和OpenAI一较高下，开启了高产模式。
与Sora发布的同日，谷歌最新一代多模态大模型——Gemini 1.5诞生。
其中最大亮点是最高可支持10000K Token的超长上下文。
对比GPT-4 Turbo的128K Tokens，以及Glaude 2.1的200K Tokens，可谓直接“爆杀”！
数据集吞吐能力彻底碾压一切主流大模型，直接晋升宇宙第一！
百万级Token，我们可以直接给AI投喂数十万字的超长文档、拥有数百个文件的数十万行代码库、一部完整的好莱坞大片等等，让它协助解读。
要知道，《三体》平均二三十万字一部，Gemini 1.5可以一口气吞下去。
这个技能点，放在2023年是完全不敢想的。
为了介绍新模型，谷歌准备了58页的技术文档。
毫不夸张地说，大语言模型进入了崭新阶段!
谷歌成功将吞吐量世界纪录提升到百万级数，甚至在实验室还创造过极限1000万Tokens，直接拉爆友商啦~~
也许不少刚接触AI的家人还无法理解——
大语言模型的Tokens吞吐能力到底有什么意义?
AI大模型发展现在这个阶段，大模型需要处理的网络信息量呈现指数级的增长，上下文窗口的Tokens能力，已经成为了关键的掣肘。
模型Tokens需要处理各种复杂的单词、图像、视频、音频、代码等等信息。上下文窗口越大，它能接纳的信息量就越多，就更有机会输出符合用户需求的内容。
打个比方：一个学霸可以在一夜之间啃完一本教科书，一个学渣即便在老师的辅导下，也很难在一个学期内掌握一门课程。
谷歌Gemini 1.5 Pro目前能够一次性处理海量信息：
话不多说，实测一下！
我们甩给它一份美国“阿波罗”11号登月任务的402页飞行报告，总计32万+ Tokens，里边包含了各种文字记载与图表，Gemini 1.5 Pro可以一次性处理复杂信息，并表现出深刻的理解。
我们从“阿波罗”登月里边挑选了三个改变世界的历史时刻，让它进行表述。
前后只花了30秒出头，答案就已经生成了!
Gemini 1.5 Pro清楚列出了包括阿姆斯特朗经典名言在内的三个有趣的历史瞬间。
接下来，再测试它的多模态能力——
我们把一张手绘脚穿一只靴子的简笔画上传，询问它：「这是什么时刻?」
它会回答：月球上的一小步，人类的一大步。Bingo!
不仅如此，这次谷歌还为Gemini 1.5开发了一项新功能，允许用户上传多个文件，并整合理解后回答问题。
更大的Tokens，模型能够处理更多信息，输出一致性更好更精准的结果。
谷歌Gemini 1.5 Pro还展现了不可思议的内容理解能力和推理能力。
得益于Gemini出色的多模态能力，大模型会将上传的视频拆分成数千个画面片段进行理解，从而回答关于视频相关的各种问题。
比如，我们上传了一部44分钟的无声电影——Buster Keaton主演的《小神探夏洛克》，接近于70万Tokens的数据。
需要注意的是，目前Gemini暂不支持有声电影里边的对白理解。
大模型不仅能够精准地捕捉到电影的情节发展与转折，还能洞察到人类观众极易忽略的细微之处。
下面提问：请找出「一张纸从主角口袋中被拿出」的瞬间，然后告诉我关于这个细节的信息。
Gemini 1.5 Pro大约花费60秒准确地找出这个镜头位于12分01秒的位置，还描述出了相关的细节。
「12点01分，从这个人的口袋里取出一张纸。这是一张当票，是1924年10月23日从高盛典当行寄出的一张当票，用于典当一块手表和一条项链，价值4美元。这张当票是威尔·史密斯的署名。」
震惊!Gemini所描述的细节是完全准确的。
大模型不仅可以读懂动态画面的内容，还可以读懂画面里边的文本信息。
紧接着，我们上传一张粗糙的局部涂鸦，画了一个蓄水水塔，并要求Gemini找出与电影场景当中相对应的相似场景，它在一分钟内也给出了答案。
除了更强的多模态信息吞吐、理解与输出能力，Gemini 1.5 Pro在处理长达超过10万行的“屎山代码”时，还具备超强的纠错能力。
面对如此庞大的代码量，Gemini不仅能够深入分析各个示例，提出实用的修改建议，还能详细解释代码的各个部分是如何协同工作的。
凭借海量Tokens，开发者可以直接一次性上传一整套代码库，利用这个模型快速熟悉、理解代码结构。
Gemini 1.5 Pro的理论性能可以比肩「超大杯」的Gemini Ultra，大幅超越1.0版本。
在涵盖文本、代码、图像、音频和视频的综合性测试中，Gemini 1.5 Pro在87%的基准测试上完成了对自己的超越;与Gemini 1.0 Ultra相比性能也相差无几。
Gemini 1.5 Pro在专用于测试大模型Tokens能力的「大海捞针」测试中，它能够在长达100万Token的文本里边，准确找出隐藏有特定信息的文本片段的成功率高达99%，数据检索进度条几乎全绿。
测评到了这里，OpenAI的GPT-4的确在这项能力望尘莫及。
当谷歌Gemini 1.5 Pro遇上抢走它头条的Sora会怎样?
它甚至可以“辨别”视频是否由AI生成。
有取得Sora内测资格的大佬尝试Gemini 1.5 Pro去分析Sora生成的那个著名的「日本雪樱CityWalk」场景的AI视频。
我们将整段视频投喂给大模型。对此，Gemini 1.5 Pro给出的评价是：
视频呈现的是日本一条覆盖着雪的街道，樱花正盛开。但几处明显的问题暗示这个视频可能是AI制作的。
首先，尽管雪下得非常大，樱花却依然绽放。通常，樱花在春季开放，那时天气温暖，不会有雪；
其次，雪以一种过于规律的方式落下，这与现实中雪的降落方式不符；
再者，尽管正下着大雪，视频中的人们却没有穿戴任何冬季服装。
总而言之，虽然视频的视觉效果令人赞叹，但这些问题表明它并非真实场景所拍。
不得不说，Gemini的确成功判别了AI露出马脚的痕迹，判定并非实拍，说明它的识别和理解能力确实非常出色。
不过EVA也必须实话实说，日本的确有「雪樱」🌸。
无独有偶，另外一位大神测试了「猫咪穿越灌木丛」的视频。
对此，Gemini 1.5给出的评价是：
这段视频很有可能是由人工智能创造的，但要确定地说还是有些困难。
一些细节似乎表明这段视频是真实的，例如猫的动作自然流畅，光影效果也相当逼真。
然而，也有一些细节让人怀疑，比如猫的眼睛异常放大，毛皮的质感也过于完美无瑕。
最终，视频是真是假，还是要留给观众自己去判断。
显然，Sora生成的视频已经达到了以假乱真的程度。尽管如此，Gemini依然输出了有理有据的回复。
不过需要指出的是，在以上两个实测案例当中，人们输入的提示词里边都有提及「AI生成」这个关键词，给大模型思考方向上提供了引导。
谷歌成功把Tokens性能「卷」至百万级，于是网友们来了一大波千奇百怪的实测：
比如，上传了今年的NBA全明星扣篮大赛视频，询问：「哪一个扣篮的得分最高？」
Gemini 1.5 Pro可以很快地从漫长的视频当中找出那个得分50的满分扣篮！
马克·麦克朗的最后一记扣篮获得了当晚的最高分——50分满分。
他越过两人，将球轻敲篮板后板，然后用右手完成扣篮。
精细的画面描述，真是令人瞠目结舌呀！！
然后，我们在尝试让Gemini 1.5 Pro去比较《星际穿越》和《星际探索》两部电影的电影脚本有什么不同，并给出观看建议。
这时候，可以一次上传两个剧本的文档，让Gemini进行理解。Gemini 1.5 Pro最后给出了它的看法：
《星际探索》：归根结底，这是一个关于个人成长和人与人之间联系的重要性的故事，表明即使面对宇宙的冷漠，找到自身的意义和与他人的联系也是至关重要的。
《星际穿越》：更加乐观和充满希望，强调了人类智慧的力量，以及面对看似难以克服的挑战时坚持不懈的重要性。
接下来该看哪部电影取决于你的个人喜好：
如果您正在寻找一个更加内省、以人物为驱动力、注重情感主题的故事，《星际探索》可能是一个不错的选择。
如果你更喜欢史诗般的动作冒险，关注人类的生存，那么《星际穿越》可能更有吸引力。
两部电影都为太空探索和人类经历提供了独特而发人深省的视角。
然后，他又让Gemini将一段英文内容翻译成德国境内一种濒危方言、全世界不超过2000人懂得的萨特兰弗里斯语。
Gemini 1.5经过推理之后很快翻译出来，这个过程确实碉堡了。
接着，他让Gemini理解整个《星际穿越》的剧本，并要求大模型将剧本里边最高潮的台词提取出来。
Gemini 1.5 Pro输出了3句最鼓舞人心的台词。
①「人类诞生于地球，但我们的命运远不止于此。」—— Cooper
这句话深刻地表达了人类探索未知、超越现状的不屈不挠的精神。它提醒我们，我们的潜力不受当前所处环境的限制，我们完全有能力克服挑战，追求更高的目标。
②「爱是唯一能跨越时间和空间，触及我们心灵的力量。」—— Brand
这句话揭示了爱的强大能力，它能够跨越遥远的距离，甚至是时间的界限，将我们紧紧相连。它暗示，爱是宇宙中的一股根本力量，能在逆境中为我们指明方向，带给我们希望。
③「曾经，我们仰望星空，梦想着自己在浩瀚宇宙中的位置。如今，我们却沉溺于眼前的琐事，忘记了自己的远大理想。」—— Cooper
这句话是对好奇心、追求和雄心壮志的重要性的深情提醒。它对比了过去人类满怀希望地探索星辰的时代，与如今忙于应对日常挑战、失去对未来的憧憬的现状。它激励我们重新寻找那份对未知的好奇和对更美好未来的追求。
拥有百万级Tokens的Gemini 1.5最高极限能到什么程度？
我们投喂了整部的《哈利·波特与魔法石》，共计741028个Token。并要求它输出50个小说中最重要的时刻，并给出评分，5分满分。
Gemini 1.5完成这个任务耗时4分钟。
梅西对阵赫塔菲比赛中的经典单刀，投喂给Gemini。
提问：「这个进球为什么如此有名?」
它成功识别出了梅西，但是把赫塔菲的球员识别成了皇马球员。
这张图片之所以出名，是因为它捕捉到了有史以来最伟大的足球运动员之一梅西在与巴塞罗那最大的对手之一皇家马德里比赛时的场景。梅西的球技和运动能力在这幅图片上得到了充分展示，视觉效果极佳。
看来Gemini还是隐藏的梅西粉丝呢~😅他认为进球知名的原因是因为球员本人的名气。
最后一道题——让Gemini 1.5造10个完全不同的句子，每个句子都以「Apple」结尾。
这个经典任务可以检验大模型基于限定规则下多次造句的能力。
最后，Gemini 1.5完全没能完成这项挑战。
尝试让GPT-4来测试这道题，结果GPT-4也没能完成，算打了个平手。🤝
辛苦家人们能看完这么长的测评。
辛苦大家看到这里，到这里一目了然。
谷歌Gemini 1.5 Pro的超大Tokens拥有许多实际应用的场景。谷歌显然成功点亮了超越友商的科技树，这展现了谷歌过去半年的努力成果。
下一步，在你追我赶之间，谷歌还会带来什么惊喜呢？
相关文章
近期文章
更多
Kardashian
量子位
