兄弟们，这个厉害
解决了文本到视频模型模拟物理规律的问题
MagicTime：是一个专注于生成变形时间延迟视频的模型
集成DiT-based架构
解决了现有文本到视频（T2V）生成模型未能充分编码现实世界物理知识的问题。
在传统的T2V生成中，生成的视频往往具有有限的动作和变化较差的问题
MagicTime通过引入变形时间延迟视频的概念，旨在克服这些限制，提高视频生成的质量和动态性。
主要解决的问题：
•物理知识编码不足： 现有的T2V模型生成的视频缺乏对现实世界物理规律的准确反映。
•有限的动作和变化： 生成的视频动作单一，变化不足，难以反映复杂的变形过程。
主要功能：
1.变形时间延迟视频生成： MagicTime专注于生成包含物理知识、长期持续性和强烈变化的变形视频，这些视频比常规视频包含更丰富的物理知识和变形过程。
2.MagicAdapter方案： 通过设计MagicAdapter方案，MagicTime能够解耦空间和时间训练，从变形视频中编码更多的物理知识，并转换预训练的T2V模型以生成变形视频。
3.动态帧提取策略： 引入动态帧提取策略来适应变化范围更广的变形时间延迟视频，更好地体现物理知识。
4.Magic Text-Encoder： 改进了对变形视频提示的理解，提高文本到视频生成的准确性和质量。
5.ChronoMagic数据集： 创建了专门的时间延迟视频文本数据集ChronoMagic，为解锁变形视频生成能力提供支持。
实现目标：
MagicTime通过生成高质量和动态的变形视频，证明了其对生成时间延迟视频的优越性和有效性，为构建物理世界的变形模拟器开辟了一条有希望的道路。
集成DiT-based架构：
该项目的使命是帮助复现Sora，并提供高质量的视频文本数据和数据注释管道，以支持Open-Sora-Plan或其他基于DiT的T2V模型。MagicTime计划将额外的变形景观时间延迟视频集成到同一注释框架中，以获得ChronoMagic-Landscape数据集，然后使用该数据集微调Open-Sora-Plan v1.0.0，得到MagicTime-DiT模型。
项目及演示：https://github.com/PKU-YuanGroup/MagicTime
论文：https://arxiv.org/abs/2404.05014
GitHub：https://github.com/PKU-YuanGroup/MagicTime/tree/main
- 复制链接
- 举报
