同学们,快刀广播站又开始广播了。
这两天 AI 圈比较受关注的事情,是谷歌团队放出了一篇重磅论文,发布了一个叫LUMIERE的 AI 视频生成系统。LUMIERE(卢米埃)这个产品名,应该是取自法语中的“光明、灯光”的意思。和项目论文一起发布的,是迄今为止我看到的最流畅的AI 生成视频。
论文里说,这是一个全新的“时空扩散模型”。听起来很深奥,我来用简单直白但可能不精准的说法来给你解释一下。现在最流行的一批 AI 视频产品中,从 Runway 到 Pika,使用的方法大都是AI 生成开始画面和结束画面,中间再插入几个关键帧,剩下的基本上靠 AI 按照惯性去猜测画面,最后再把不同的碎片拼接在一起。而谷歌这篇论文里说,自己用了一种全新模型一次性同时生成画面,这样对真实运动的连贯性表现得最好。
在谷歌的演示视频里,有常规的文字生成视频、图片生成视频,还有AI 视频编辑。举个例子,针对一个已经用AI生成的视频,你只要输入一句话,就可以直接改掉视频里人的衣服款式。在和论文一起发布的示例作品中,名画《戴珍珠耳环的少女》,因为输入了一句话,就从2D变成了视频,笑了起来。
看到这里的同学们,是不是都有点激动,想赶紧试一下。不好意思,现在谷歌的研究团队只是放出了这篇论文,官方并没有说在哪里可以下载或者用到这个技术。我猜测应该是用来增强谷歌 Bard 大模型的。毕竟在其他地方,谷歌都被 GPT4 压着打。现在大家都知道 ,OpenAI 内部也在冲刺文生视频的多模态模型,估计谷歌也希望靠这个卢米埃视频技术来一个弯道超车。
不过,今年 AI 圈发生过太多这样的事情了,演示视频一个比一个炫目。从机器人炒菜到机器人叠衣服,再到谷歌去年发布的 Gemini 视频涉嫌造假,AI 软件们把自己“最美好”的一面呈现在了我们面前。也许这个“最美好”,是从 10000 次碰运气的结果中选出来的呢。所以,咱们的态度,应该是谨慎乐观,期待每个产品都越来越好,但是在亲手上手前,也不轻易就热血沸腾。后面我也会持续关注谷歌卢米埃这个项目。
借着这个话题,我想跟大家聊一下现在 AI 视频的进展和现状。我在咱们学习圈第一次专场直播里,邀请了导演陈坤,请他分享自己做出来的爆款 AI 短视频《山海奇镜》背后的创作历程。感兴趣的同学可以看一下回放,我把回放链接也贴在文稿末尾了。
我想说,首先,大家期待的,输入一句指令就直接出一个短视频,现在AI的能力根本达不到。能出一个 5 秒的视频片段就已经顶天了。陈坤导演的那条短视频,其实也是五个资深高手一起协作的结果。用了 AI 之后,效率肯定提升了很多。陈坤说至少以前传统的分镜头脚本啊、一个舞美或者设计啊,都可以靠 AI 完成了。但是核心的剪辑、配音、配乐,都还是需要非常专业的人才可以。
包括陈坤导演,他之所以能做出这样的爆款 AI 短片,不是因为 AI 做视频的能力牛,而是因为陈坤本身做了 20 年的影视制作,他用个人能力把一些很碎片的 AI 视频片段,化腐朽为神奇地捏合在了一起。
现在,AI 比较成熟的领域就是 AI 写作和 AI 写代码,其次是 AI 做设计,然后才是 AI 做视频。越成熟的方向,对人的要求越低。比如,现在随便谁对大模型提一个写作要求,出来的结果都不会差。但是 AI 做设计,高手和新手小白产生的结果差异就比较大了。而 AI 做视频,那就没法比了,小白可能连一个完整的视频都拼接不起来。
我比较喜欢用数字来表示程度。如果是 AI 写作得了 100 分,我觉得 80 分的功劳是属于 AI 的。如果 AI 设计出来的图片得了 100 分,我觉得 50 分的功劳是属于 AI 的。但如果现在 AI 设计出来的视频得了 100 分,我觉得只有 20 分的功劳属于 AI,剩下的 80 分,一定是因为这个视频背后的那个人很厉害,把脑海里的一帧帧画面设计出来并且拼接成视频。
AI 视频这个领域发展得非常非常快,让你经常有一种天上一天地上一年的感觉。我们完全可以期待这几家主流的 AI 视频产品会有飞速的迭代。现在个人端最常用的AI视频工具有三个,Runway是最强大的,Pika是现在比较受关注的,而我个人比较推荐Pixverse,原因就是这产品现在还免费,并且支持中文写指令。
而我们普通人如果想接触 AI,我建议先从写作开始,然后有余力的情况下,可以研究 AI 画画,最后再去研究 AI 做视频。
说到这儿,一定会有同学问AI做视频,第一步应该干什么。我的建议是可以先去看一批别人做的视频,和生成视频所写的指令,找到自己比较喜欢的,然后重新生成一次试试,这样就能找到逐渐感觉了。你也会发现,现在的 AI 视频工具做出的产品,还根本达不到可用状态。当你知道了AI 视频的真实能力之后,别人再给你发一个短视频,说用 AI 可以做出多牛的视频时,你就可以笑而不语了。
今天的快刀广播站就到这里了,明天咱们接着聊AI。
【相关链接】
导演陈坤视频回放:https://www.dedao.cn/live/Z6aJEv6rR45WlLMmNY31ozxVP9NkksZ4DamA8ybqw8jeqgb7GKyO2dXDA9ZknB0N
谷歌卢米埃视频项目研究网站:https://lumiere-video.github.io/
(可以看到很多示例视频)
论文原文:https://arxiv.org/pdf/2401.12945.pdf
Pixverse官网:https://app.pixverse.ai/
Runway官网:https://runwayml.com/