Tora
Tora简介 阿里Tora视频是阿里巴巴推出的ai视频生成框架,基于轨迹导向的扩散变换器(DiT)技术,能够将文本、视觉和轨迹条件融合,生成高质量且符合物理世界的动态视频。Tora主要功能特点:轨迹导向的视频生成:Tora能够根据给定的轨迹生成视频,保持运动的一致性和准确性。轨迹提取器(Trajectory Extractor, TE)将输入的轨迹转换成层次化的时空运动块,这些运动块与视频内容的潜在空间相匹配。多模态输入整合:Tora支持文本、图像和轨迹条件的同时输入,实现多维度的视频内容控制。这意味着用户可以通过文字描述、图片或物体移动的路线来生成视频。高分辨率视频输出:Tora能够在720p的高分辨率下生成长达204帧的视频,保证视频质量。这使得生成的视频不仅画面清晰,而且运动流畅。物理世界动态模拟:Tora生成的视频运动效果贴近现实世界的物理动态,如重力和动力学原理。通过时空扩散变换器(Spatial-Temporal DiT),Tora能够处理视频数据,使模型理解和生成具有连贯运动的视频。灵活的内容创作:Tora支持不同时长、宽高比和分辨率的视频生成,满足多样化的创作需求。无论是短视频还是长视频,无论是标准宽高比还是自定义宽高比,Tora都能适应。运动引导融合器(Motion-guidance Fuser, MGF):该组件负责将轨迹提取器生成的时空运动块整合到DiT模型中,确保生成的视频内容遵循预定的轨迹和动态。MGF通过自适应归一化层将运动补丁整合到DiT块中,精确控制视频内容的动态。两阶段训练策略:为了让Tora更好地理解和生成运动,通过一个两阶段的训练过程来学习。首先使用密集光流进行训练,然后使用稀疏轨迹进行微调,提高模型对运动控制的灵活性和准确性。数据预处理:在训练之前,Tora需要对视频数据进行一些处理,比如根据场景检测将长视频分割成短片段,然后根据美学评分和运动分割结果选择适合训练的视频片段。Tora主要功能模块轨迹提取器(Trajectory Extractor, TE):将输入的轨迹转换成层次化的时空运动块,这些运动块与视频内容的潜在空间相匹配。时空扩散变换器(Spatial-Temporal DiT):结合空间和时间的自注意力机制,处理视频数据,使模型能够理解和生成具有连贯运动的视频。运动引导融合器(Motion-guidance Fuser, MGF):负责将轨迹提取器生成的时空运动块整合到DiT模型中,确保生成的视频内容遵循预定的轨迹和动态。Tora应用场景:影视制作:在影视制作中,Tora可以用于生成电影、电视剧或短片中的特效场景,通过轨迹控制生成复杂的动态画面,减少实际拍摄成本和时间。动画创作:根据脚本自动生成动画序列,为动画师提供初步的动态草图,加速创作过程。虚拟现实(VR)和增强现实(AR):生成与用户互动的动态环境,为VR和AR应用提供逼真的视觉效果。游戏开发:快速生成游戏环境和角色动画,提高游戏设计的效率。Tora访问方法:Tora项目官网:https://ali-videoai.github.io/tora_video/Tora GitHub仓库:https://github.com/ali-videoai/ToraTora arXiv技术论文:https://arxiv.org/pdf/2407.21705总的来说,Tora生成的视频质量非常高,能够生成10到60秒的高分辨率视频,并且在不同分辨率和纵横比下表现出色。Tora的视频不仅流畅,而且能够细致地模拟物理世界的运动。Tora的轨迹控制功能也得到了用户的高度评价。