【视频帧插值的一般化隐式运动建模

运动建模在基于流的 视频帧插值（VFI）中至关重要。现有的范式要么考虑双向流的线性组合，要么直接预测给定时间戳的双向流，而不探索有利的运动先验，因此缺乏有效建模现实世界视频中时空动态的能力。为了解决这一限制，在本研究中，我们引入了一种新颖且有效的运动建模方法——一般化隐式运动建模（GIMM）。具体来说，为了使GIMM成为一种有效的运动建模范式，我们设计了一条运动编码管道，从预训练的流估计器中提取双向流来建模时空运动潜变量，有效地表示输入特定的运动先验。然后，我们通过一个自适应的基于坐标的神经网络，在输入的两个相邻帧之间隐式地预测任意时间步长的光流，以时空坐标和运动潜变量作为输入。我们的GIMM可以与现有的基于流的VFI工作平滑集成，而无需进一步修改。我们展示了GIMM在VFI基准测试中表现优于当前的最先进方法。】