OmniNOCS

统一的NOCS数据集和用于2D物体3D提升的模型

我们提出了OmniNOCS，这是一个大规模的单目数据集，包含3D归一化对象坐标空间（NOCS）地图、对象掩码和用于室内和室外场景的3D边界框注释。与现有的NOCS数据集（NOCS-Real275, Wild6D）相比，OmniNOCS的对象类别多20倍，实例数量多200倍。我们使用OmniNOCS训练了一种新颖的、基于transformer的单目NOCS预测模型（NOCSformer），该模型可以从2D物体检测中预测准确的NOCS、实例掩码和姿态，适用于各种类别。这是第一个可以在2D框提示下泛化到广泛类别的NOCS模型。我们在3D有向边界框预测任务上评估了我们的模型，其中取得了与Cube R-CNN等最先进的3D检测方法相当的结果。与其他3D检测方法不同，我们的模型还提供详细且准确的3D物体形状和分割。我们提出了一种基于OmniNOCS的NOCS预测任务的新基准，希望它能成为该领域未来工作的有用基线。