热门
最新
红包
立Flag
投票
同城
我的
发布
HeadGAP
少样本3D头部头像通过可概括的高斯先验
讨论:https://huggingface.co/papers/2408.06019
在本文中,我们提出了一种新颖的3D头部头像创建方法,该方法能够从少量在自然环境中的数据中进行概括,实现高保真和可动画的鲁棒性。鉴于这个问题的欠约束性质,整合先验知识是必不可少的。因此,我们提出了一个由先验学习和头像创建阶段组成的框架。先验学习阶段利用从大规模多视角动态数据集中提取的3D头部先验知识,而头像创建阶段则应用这些先验知识进行少样本个性化。我们的方法通过利用基于高斯散点的自动解码网络与基于部分的动态建模,有效地捕捉这些先验知识。我们的方法采用共享身份编码和个性化潜在代码来学习高斯基元的属性。在头像创建阶段,我们通过利用反演和微调策略,实现快速的头部头像个性化。大量实验表明,我们的模型有效地利用了头部先验知识,并成功地将其概括到少样本个性化中,达到了逼真渲染质量、多视角一致性和稳定动画效果。
CSDN App 扫码分享
评论
10
- 复制链接
- 举报
下一条:
FruitNeRF一个基于统一神经辐射场的水果计数框架讨论: https://huggingface.co/papers/2408.06190我们介绍了FruitNeRF,这是一个统一的创新水果计数框架,它利用最先进的视角合成方法,直接在3D中计数任何类型的水果。我们的框架使用单目相机拍摄的一组无序的带姿态图像,并在每个图像中分割水果。为了使我们的系统不依赖于水果类型,我们使用了一个基础模型,该模型生成任何水果的二值分割掩码。通过利用RGB和语义两种模式,我们训练了一个语义神经辐射场。通过对隐含的水果场进行均匀体积采样,我们获得了仅含水果的点云。通过对提取的点云应用级联聚类,我们的方法实现了精确的水果计数。与传统方法如目标跟踪或光流相比,使用神经辐射场提供了显著的优势,因为计数本身是在3D中进行的。我们的方法防止了重复计数水果,并避免了计数无关的水果。我们使用现实世界和合成数据集评估了我们的方法。现实世界数据集包括三棵苹果树,并有手动计数的地面真值,一个包含一行和地面真值水果位置的基准苹果数据集,而合成数据集包括各种水果类型,包括苹果、李子、柠檬、梨、桃子和芒果。此外,我们还评估了使用基础模型与U-Net进行水果计数的表现。