视频版Midjourney免费开放，一句话拍大片！PC和手机均可体验

《中途》视频版免费开放，一句话就能拍出大片！PC和移动端均可使用

金蕾的美丽来自奥飞寺

量子比特|QbitAI公众号

大家好，现在只需一句话就能制作出电影级视频！

例如，只要输入“Jungle”，大片场景就会立即出现：

而通过围绕“丛林”改变一些合适的词语，比如“河流”、“瀑布”、“黄昏”、“白天”等，这个AI也能在几秒钟内理解你的意思。

还有以下关于自然美景、宇宙奇观、微观细胞等等的高分辨率视频，尽在一句话中。

这是由StableDiffusion和《TheInstantUniverse》背后的技术公司Runway制作的第二代AI视频编辑工具。

而最近，意外的好消息传来——Gen2免费试用！

这让网友们非常高兴，纷纷开始尝试。

体验真正的Gen2记录

当然，我们必须亲自体验如此有趣的技术。

比如我们给Gen2一个中文句子：

外滩夜景，影视风格。

立即制作了空中视角的视频片段。

如果您想更改视频风格，也可以上传照片。例如，我们使用了赛博朋克风格的城市镜头。

然后Gen2会将您输出的提示与图像样式“关联”：

目前，Gen2功能在Runway官方TexttoVideo网站上可以免费试用，但Gen1也开放了VideotoVideo功能。

比如老外可以从《瞬间宇宙》中得到灵感，用Gen1玩一个更有趣的时间旅行游戏。

他第一次在家里拍打响指的视频，只听“啪”的一声，就立刻进入了欧洲王室的“片场”：

那么……连物种和性别都可以随意切换：

终于，在多次穿越时空、种族之后，我打了个响指，回到了家：

看完Gen2打造的“大戏”后，网友们不安起来，大呼：

娱乐业即将被人工智能重新定义。

PC、手机均可玩

现在网站和移动端（仅限iOS）均可正式体验。

以网站为例，进入Runway官方主页（链接在文末[1]），点击上方“TRYNOW”并注册账号，即可进入以下界面：

点击右侧的“IntroductionGen2”，我们就可以正式开始玩了。

首先输入提示词，最多320个字符，然后在左侧的设置菜单中进行一些基本配置（包括种子参数、插值等）并点击“生成”。

（当然，您也可以提供视频的参考图片，只需点击右侧的图片图标即可。）

不到1分钟，视频就诞生了。

点击下方的播放按钮即可查看效果。视频可以直接保存到您的本地计算机或仅保存在您的帐户中。

当然，如果您不满意，还可以在下面的提示框中继续修改。

需要注意的是，免费试用限制为105秒（剩余限制显示在右上角），每个视频为4秒，这意味着可以免费创建约26个Gen2视频。

当您的配额用完或者您想体验附加功能（例如去除水印和提高分辨率）时，您需要购买会员资格，每月15美元，专业版为35美元，年费比这便宜。。

如果你想产生更好的效果，可以使用“inthestyleofxxx”的形式，例如：

热带海滩上的棕榈树，专业电影摄影风格，浅景深，故事片（下图）。

热带海滩上的棕榈树，风格为2Danimation、卡通、手绘动画。

或者直接进入它的灵感库，选择一个你喜欢的视频，点击“尝试”，看看视频中的建议单词是如何写的，然后进行编辑或模仿：

有网友表示，一开始使用“cinematicshotof”还可以让你的视频更加生动（这就解决了很多人的视频不太感人的问题）。

起源是什么？

Gen2于今年3月20日正式发布，经过两个多月的内测，终于正式上线。

其Gen1前身仅提前一个多月发布（2月份推出），因此迭代速度相当快。

作为一种基于扩散的生成模型，Gen1将时间层注入到预训练的图像模型中，并对图像和视频数据进行高级训练。进行联合训练以完成潜在扩散模型到视频生成领域的扩展。

这还包括使用新的启动方法来实现对所产生结果的时间一致性的精确控制。

其架构如图所示：

在训练阶段，输入视频x首先由固定编码器编码为z0，并扩散为zt。

然后，对MiDaS得到的深度图进行编码，提取结构表示s；然后使用CLIP对其中一个帧进行编码以获得内容表示c。

然后，在s的帮助下，模型学习反转潜在空间中的扩散过程（其中s连接到c，c是通过交叉注意力块创建的）。

在推理阶段，模型以类似的方式获得输入视频的结构。

为了从文本生成内容，作者还通过前者将CLIP文本嵌入转换为图像嵌入。

最后，Gen1可以创建详细且可控的视频，还可以自定义一些参考图像。

不过，最初对外发布的Gen1只能对现有视频进行编辑，而Gen2则直接完成了VincentVideo的“改造”。

并且一举带来了另外7大功能，包括文本参考图像转视频、静态图像转视频、视频风格转换等。

该Gen2类型在内测期间被网友誉为“视频行业中游”。

根据官方调查数据，Gen2实际上更受用户欢迎：用户评分比StableDiffusion1.5高73.53%，比Text2Live高88.24%。

如今正式上线后，很快就迎来了一大波人群的欢迎体验。有人说：

上一次经历这样的兴奋是在我使用人工智能创建图像时。

所以我想知道Runway这家参与SD开发的公司能否利用Gen2打造创意AI领域的下一个热门趋势——

如果答案是肯定的，需要多长时间以及需要解决哪些问题？

拭目以待吧。

参考链接：

[1]https://runwayml.com/

[2]

https://research.runwayml.com/gen2

[3]

https://twitter.com/SteveMills/status/1666799229996785666

[4]

https://twitter.com/runwayml/status/1666429706932043776

[5]

https://www.youtube.com/watch?vdq8GZeDEqH8

-通过-

量子比特QbitAI·今日头条签约协议

关注我们，第一时间了解前沿技术动态