热门
最新
红包
立Flag
投票
同城
我的
发布
AI资讯
CSDN App 扫码分享
评论
1
打赏
- 复制链接
- 举报
下一条：
Motion-I2V：可以像Runway的运动笔刷一样控制视频生成的模型Motion-I2V的主要功能特点：1、图像到视频的自动转换：能够将静态图像自动转换成连贯的动态视频，通过模拟图像中对象的自然运动，使静态图像“活”起来。2、显式运动建模：通过两个阶段的处理，首先预测图像中物体的运动轨迹，然后根据这些轨迹生成动态视频，这种方法明确考虑物体的移动方式，使生成的视频更加自然和真实。3、运动控制：用户可以精确控制视频中的运动轨迹和运动区域，例如指定物体移动的方向、速度等。4、一致性和可控性：生成的视频不仅在视觉上连贯，而且用户可以通过简单的操作控制视频内容，使得生成的视频既满足特定的视觉要求，又能反映用户的创意意图。5、支持零样本视频到视频转换：除了从图像生成视频外，Motion-I2V还支持将一个视频转换为另一个风格的视频，而无需额外的训练样本，这一功能基于其先进的运动增强和时间注意力技术。6、高质量视频生成：与现有的图像到视频转换技术相比，Motion-I2V能够在存在大的运动和视角变化时，生成更一致、质量更高的视频内容。工作原理：与直接学习复杂的图像到视频映射的传统方法不同，它将整个图像到视频的转换过程分为两个步骤，并且在这两个步骤中明确地考虑了物体的移动情况。第一步骤：这个阶段主要关注如何预测图片中物体的移动轨迹。简单来说，就是确定图片中的每个点在未来的视频帧中应该移动到哪里去。这通过一个特别设计的预测器来实现，它能够基于当前的图片和一些指令来预测出物体的移动方式。第二步骤：有了这些移动轨迹之后，下一步就是根据这些轨迹将图片中的内容“拖动”到视频的每一帧中去，从而创建出连贯的视频。这个阶段使用了一种特殊的技术，可以更好地处理时间上的信息，使得视频中的运动看起来更自然。与其他类似技术相比，Motion-I2V的优势在于它生成的视频不仅看起来更连贯（即使在运动和视角变化很大的情况下），而且用户还可以更精确地控制视频中的运动情况。此外，这个技术还能够做到从一个视频转换到另一个视频，而不需要额外的训练数据，这是通过在第二步骤中引入的一种新技术实现的。项目及演示：https://xiaoyushi97.github.io/Motion-I2V论文：https://arxiv.org/abs/2401.15977GitHub：coming soon...
