TalkinNeRF可动画的全身说话人神经场讨论: https://huggingface.co/papers/2409.16666我们引入了一个新的框架，从单目视频中学习动态神经辐射场（NeRF）来生成全身说话的人物。之前的工作仅表示身体姿势或面部。然而，人类通过全身进行交流，结合身体姿势、手势以及面部表情。在这项工作中，我们提出了TalkinNeRF，一个基于NeRF的统一网络，表示整体的4D人类运动。给定一个主体的单目视频，我们学习对应的身体、面部和手部模块，并将它们组合在一起生成最终结果。为了捕捉复杂的手指关节运动，我们为手部学习了一个额外的变形场。我们的多身份表示能够同时训练多个主体，并在完全未知的姿势下实现鲁棒动画。它还可以在仅有短视频作为输入的情况下推广到新的身份。我们展示了动画全身说话人物的最新性能，具备细致的手部关节和面部表情。