2023-11-03 12:42
“霉霉”“赫敏”10级中文采访视频全网刷屏！全世界都在说中国话：盘点4款超牛的AI翻译+配音工具
最近，网上的营销号全是“霉霉说中文”的视频。
EVA感慨，实在太火了!
咱们先来重温一下——
随便打开一个抖音、微博都能刷到类似的段子。
不仅有泰勒·斯威夫特说中文，还有“赫敏”艾玛·沃特森说中文。
感慨一下——到底是大明星啊，语言天分直线拉满!
事实上，这都是AIGC技术在背后“捣鬼”。
马上就到万圣节了?，家人们可别被开口说中文的鬼怪给吓到了。
除了上述两位大美女，网上还流传着美国前总统特朗普开口说中文、憨豆先生罗温·艾金森开口说中文等等精彩的片段。
甚至还有每年春晚必刷的“毒舌女王”蔡明老师，都在吐槽大会上流利地讲起了英文，直接就是一个“开口脆”!
?一起来看看整合的AI视频合集——
对比原片，AI重新配音的视频不仅完美进行了翻译，而且连声线和情绪都近乎拟真。难辨真假，令人叹为观止。
生成的视频也不会出现往常AI视频的那种卡卡掉帧的感觉。
吓得网友都喊妈咪了：
AI实现了对外语视频的翻译并重新配音，且效果非常逼真。
我甚至怀疑，找来世界上最优秀的人类配音演员都未必能实现如此接近本人的声线，完全没有“译制腔”。
重点是，它省时省力呀!!
想要实现这种AI视频+翻译的效果，需要历经三步：
1️⃣地道的口语翻译
2️⃣克隆说话者的声线
3️⃣替换说话者的嘴型以吻合翻译的语言
完美实现这三步，并不容易。引发网友好奇要开盒背后的技术公司。
这个火遍全网的AI视频生成工具，正是来自深圳的诗云科技开发的HeyGen。
HeyGen是一款基于生成式AI技术的视频生成工具，可以帮助用户快速制作高质量的视频，生成AI数字人。HeyGen可以根据用户的需求，进行人物动作、表情和语音的模拟，生成逼真、生动的视频。
如果你也想实现这种AI翻译视频，只需在HeyGen官网上传你的视频，再选择要翻译的语种——就这么简单的两步。
剩下就是端一杯☕咖啡等待视频导出!
但是，问题又来了，现如今HeyGen实在太火啦!
随便一排队就是几万个视频——抖音、B站上这两天随处可见各色AI配音视频。
EVA本文就给大家安利几款HeyGen的平替AI翻译+配音的工具。
https://elevenlabs.io/dubbing
这也是一款AI翻译+配音的视频一键生成工具。支持多语言语音合成、声音克隆、文本和音频处理技术，可以把任意一段音频或者视频，快速翻译为包括中文、葡萄牙语、日语等在内的29种语言，同时保留说话者的音色特征和情感。
使用方法也很简单，访问AI Dubbing官网，生成一个新项目，上传视频并选择需要转换语种的语言。
除了上传视频外，还可以粘贴Youtube、TikTok、X(推特)、Vimeo等平台的链接。设置完成后，点击最下方的Create按钮，开始音频克隆，完成后可以预览看看效果。
https://www.lipdub.app/
LipDub目前支持28种语言的音色转换，翻译能力上基于GPT-4接口，并且可以识别说话者的唇部动作。
使用方法与上述的AI工具大同小异，都是傻瓜式操作。
LipDub的创始人曾表示：“我们最初认为这项技术需要10年时间才能够实现，但现在的技术发展实在太快了，几乎每个月甚至每周都有新东西出现。”
https://verbalate.ai/
Verbalate也是一款AI翻译+配音的视频生成工具，但比较不一样的是，相较于上述几款工具只能生成几十秒、顶多几分钟的视频，Verbalate可以支持长达30分钟的视频配音。
除了EVA提及的以上AI翻译+配音视频生成工具之外。
目前还有知名的流媒体音乐平台Spotify、谷歌旗下的YouTube平台也开始涉足这一领域，计划推出AI声音克隆+视频生成的相关工具。
新技术的快速突破，自然也引来了不少的争议。
很快就有人提出了巨大的忧虑——许多声优CV艺人会不会就此下岗…?!
有不少网友表达了对于AI生成虚假信息以及诈骗视频泛滥的担忧：
EVA想说，科学技术永远是一把“双刃剑”。
好的技术推动社会快速迈向变革，也要求人们更快速地适应新的生活工作方式，以拥抱无法完全预测的AI时代降临。
对此，蓝星上的我们每一个人，都无法回避。
相关文章
雷小军
AI-Talk
