2024-03-01 17:04
真实降维打击！Sora横向对比Runway、Pika、AnimateDiff、LeonardoAI四款主流AI视频生成模型
今年最火爆的科技圈爆品，要属蹿红的Sora，把AI视频时间延长到了「史诗级」的60秒，并且还支持生成多达5个不同的机位，还能保持良好的逻辑一致性。
但是坦率地讲，Sora距离一部完整的带剧情电影，还是差得远。或许可以期待，年内我们就能看到Sora创作的一部5、6分钟的微电影。
不妨把眼光下放到与竞争对手的PK上，更能看出Sora对行业的影响力。同在AI视频领域横向比较的话，目前确定的是，Sora无人可匹敌。
2月29日，OpenAI的ChatGPT研究员Jason Wei在网上透露，目前Sora的形态与能力大概可与GPT-2时期相当。（备注：GPT-2在2018年推出）
日前，国外一名创作者，就利用Sora官网上提供的提示词，比较了目前同赛道的几款竞品的生成效果。包括：Runway Gen-2、基于Stable Diffusion的AnimateDiff、Pika，以及LeonardoAI。
首先进行“文生视频”考核，比较的是Sora模型的代表作——「夜幕下日本街头行走的女子」。
一句话，Sora鹤立鸡群。而其他竞品当中，LeonardoAI的整体质感尚可。
接下来考核“图生视频”，我们的小哥尝试把题目难度往下放，用一张Midjourney生成的优质成片来创作AI视频。
这是Sora的四款竞争AI视频生成工具所衍生的视频作品。
这次是基于Stable Diffusion的AnimateDiff模型质感更好一些。
AnimateDiff的工作原理是在Stable Diffusion模型中插入一个动作建模模块。该模块在大量的视频参数上学习生成合理的物体运动。
接下来对比的是「航拍海岸礁石」，Sora对比Runway是这样的。
对比AnimateDiff是这样的。
Pika是这样的，海浪出现了反方向的情况。
LeonardoAI的整体质感尚可，但海浪有明显的逻辑错误。🌊
接下来是AI生成「雪地玩耍的小狗」视频的效果对比。
综合来看，客观地说，这则提示词下，几家工具的创作都还可以，基本还原提示词的场景，LeonardoAI的质感最接近Sora。
当然，Sora的出片表现张力依然鹤立鸡群。
以下是「山地公路吉普行车」的效果对比。
从这组对比，大部分的AI视频工具崩坏就比较严重了，甚至无法理解吉普车行驶的前后逻辑。
而LeonardoAI是本次对比测评当中，是最令我印象深刻的一款工具。
Sora比起其他的AI视频工具，拉开的性能差距可不止一条街。
近日，有开发者将一张Midjourney创作的后厨图像，利用Sora生成了一段厨房里边热火朝天的忙碌场景短片，长达22秒。不仔细看的话，整体可圈可点。
前阵子，国外社区有消息指出，Sora生成一分钟的视频，需要最强大的显卡运算一个多小时。
不过，只要你曾经自己剪辑过视频、问问身边做3D图像渲染的朋友，就知道这个时间成本其实并不算什么。
难以置信，等到Sora正式上线以后，电影工业会被颠覆成什么样子。
相关文章
近期文章
更多
AI-Talk
雷小军
