AI视频生成能操控运镜了,轻松推拉升降,秒拍电影大片,Runway出品
智东西11月7日报道,据VentureBeat报道,11月1日,美国明星AI视频生成创企Runway为其Gen-3 Alpha Turbo模型推出了新的AI相机控制功能。该功能允许用户在基于文本提示、上传的图像或现有视频生成新视频时,进行更精细的AI摄像机控制、动态视角调整和创意镜头运动,从而创造出更加逼真和生动的3D效果。
此外,据VentureBeat报道,Runway还在积极研发能够模拟物理世界的AI系统,称为“世界模型”。该系统的目标是创建一种能够表示和模拟各种现实世界情况和交互的通用模型。
一、打造电影级3D视觉:精细控制、动态视角与创意镜头
Runway的高级AI摄像头控件为用户提供了更精细的摄像机控制功能,使用户能够轻松实现对场景和主题的放大、缩小,同时保持AI生成角色的形态不变,以及背后背景的真实感,仿佛置身于真实的电影拍摄现场。
例如,用户可以放大和缩小他们的场景和主题,甚至保留AI生成的角色形态和背后的背景,真实地将他们和他们的观众带入一个完全实现的、看似3D的世界,就像在真实的电影布景或外景地一样。
除了精细的摄像机控制,Runway的新功能还支持用户进行动态视角调整,实现水平移动、围绕主题平滑地形成弧线,或是从不同的角度探索场景,极大地提升了视频的沉浸感和视角多样性。
例如,创作者可以使用水平运动围绕一个主题形成平滑的弧线,或从不同的有利位置探索位置,增强沉浸感和视角。此外,还可以将各种摄像机移动与速度变化相结合,创造出视觉上更加引人入胜的循环或过渡效果。
新功能还支持用户进行创意镜头运用,包括戏剧性的放大操作,深入具有电影质感的场景;或执行快速缩小,引入新的背景,转移故事的焦点,为观众带来全新的视角体验。
例如,用户可以进行戏剧性的放大,更深入地进入具有电影风格的场景,或执行快速缩小以引入新的背景,转移叙事焦点并为观众提供新鲜的视角。缓慢移动摄像机的能力也被加入进来,使得摄像机能够在场景中平稳滑行,适合强调细节或营造紧张气氛。
从Runway在X平台展示的这些新功能的视频来看,这些控件显著提高了控制的精确度,有助于AI电影制作人,包括与Runway合作的传统好莱坞工作室如狮门影业,以更快、更经济、更无缝的方式实现高质量的电影场景。
二、开发AI“世界模型”,愿景是预知未来
Runway不仅致力于提供强大的视频生成工具,还着眼于开发能够模拟物理世界的“世界模型”。这类AI系统的目标是构建环境的内部表示,并用它来预测未来的事件。
据VentureBeat报道,当被问及Runway是否开发了3D AI场景生成模型时,Runway首席执行官Cristóbal Valenzuela回答说:“世界模型。” 该回答暗示了Runway对开发“世界模型”持开放态度,并可能在这方面进行研究和开发。
Runway的联合创始人兼首席技术官Anastasis Germanidis在去年12月的一篇文章中谈道,世界模型是一种AI系统,它能够构建环境的内部表示,并用它来预测该环境中的未来事件。迄今为止,世界模型的研究主要集中在非常有限和受控的环境中,例如视频游戏中的虚拟世界或自动驾驶汽车的模拟环境。
Germanidis还说,Runway的目标是创建一种能够表示和模拟各种现实世界情况和交互的通用世界模型。正如最近推出的新相机控件所证明的那样,Runway在构建此类模型并将其应用到实际场景中的进展非常顺利。
结语:突破AI面部识别障碍,打造3D影视效果,Runway持续创新
Runway首席执行官Cristóbal Valenzuela曾经说过,AI是这个时代的摄像机。上个月,Runway推出了一项名为Act-One的新功能,突破了AI面部识别的障碍,让用户能够轻松制作高质量的动画表情捕捉视频。这个月,Runway又推出了高级AI相机控制功能,使用户可以轻松创造出具有电影级3D视觉效果的视频内容。
AI视频生成市场竞争激烈,新的模型几乎每周都会发布。在这一赛道上,Runway面临着来自Adobe的Firefly、OpenAI的Sora、Meta的Movie Gen和Google的Veo等强大竞争对手的挑战。但Runway作为早期的领导者,没有在技术能力上让步。
来源:Runway、VentureBeat
本文来自“智东西”,编译:汪越,编辑:心缘,36氪经授权发布。