TAPTR(基于Transformer的点追踪)引入了一种在视频中追踪点的新方法。以下是其概要及@做個酷人 的示例视频:- 从目标检测中获得灵感:在视频中追踪点类似于检测和追踪物体。因此,论文借鉴了最受欢迎的DETR的想法。- 点作为“查询”:在TAPTR中,你想追踪的每个点都被表示为一个“查询”。它包含关于点的位置(position)和外观(content)的信息。- 更新信息:随着视频的播放,这些智能查询点会更新它们的信息。系统还会学习在视频的每一帧中某个点是可见还是隐藏的。- 随时间共享信息:点还可以在不同帧之间共享信息,这有助于TAPTR更准确地追踪点。TAPTR方法效果很好——它比以前的方法在视频中追踪点更快也更准确。