Tracking Any Object Amodally ：以非直观方式追踪任何对象
在物体被遮挡的情况下，计算机仍能“理解”并追踪到这个物体的完整形状和位置。
这个项目能大幅提升计算机视觉系统的智能，让它们在处理遮挡物体时更加像人类，从而在自动驾驶、视频监控等领域发挥更大的作用。
TAO-Amodal数据集：
为提高物体追踪技术他们专门设计了一个数据集：TAO-Amodal
这个数据集包含了大量的视频序列，其中包括各种被遮挡或部分可见的物体，以及详细标注信息。
它可以让AI能够更好地理解和追踪那些我们只能看到一部分的物体。
- 数据集规模：包含880种多样的类别，覆盖数千个视频序列。
- 注释类型：数据集包括完全不可见、部分出框和被遮挡物体的 amodal（非模态）和 modal（模态）边界框。
- 重点：TAO-Amodal 数据集的重点在于评估当前追踪器在遮挡推理方面的能力，通过追踪任何物体的 Amodal 感知来实现。
Amodal Expander 插件
项目还开发了一个轻量级插件模块“Amodal Expander 插件”，这个是一个轻量级的插件模块，用于改进物体追踪器的功能。
Modal 追踪器：这种追踪器主要关注物体的可见部分。它在物体完全可见时表现良好，但如果物体被遮挡或部分不可见，它可能无法准确追踪。
Amodal 追踪器：与Modal追踪器不同，Amodal 追踪器能够理解和推断物体的完整形状，即使物体部分被遮挡或不完全可见。这意味着即使在复杂的视觉环境中，Amodal 追踪器也能更准确地追踪物体。
Amodal Expander插件的作用是将标准的 Modal 追踪器转换为 Amodal 追踪器。这是通过在少量视频序列上对追踪器进行微调实现的。微调后的追踪器能够更好地处理部分遮挡或不完全可见的物体，从而在追踪这些物体时更为有效和准确。
在TAO-Amodal数据集上的测试结果显示，该技术在检测和追踪被遮挡物体方面取得了3.3%和1.6%的改进。特别是在追踪人物方面，与现有的模态追踪技术相比，性能提高了2倍。
项目地址：https://tao-amodal.github.io
论文：https://arxiv.org/abs/2312.12433
GitHub：https://github.com/WesleyHsieh0806/TAO-Amodal
- 复制链接
- 举报
