热门
最新
红包
立Flag
投票
同城
我的
发布
灌水乐园
CSDN App 扫码分享
1
点赞
打赏
- 复制链接
- 举报
下一条:
Make-A-Character:一句话生成超逼真的3D数字人你只需要通过文字描述人的脸型、五官、发型等特征,它就能在不到2分钟的时间内生成一个超逼真的3D角色。而且你可以自定义面部特征,例如脸型、眼睛颜色、发型、眉毛类型、嘴巴和鼻子,以及添加皱纹和雀斑等。Make-A-Character(MACH)的主要特点:1、可控制性:用户可以详细自定义面部特征。2、高度逼真:角色基于真实人类扫描数据集生成,发型为实际发丝而非网格,使用Unreal Engine的物理基础渲染(PBR)技术渲染,以实现高质量实时渲染效果。3、完整模型:每个角色都是完整模型,包括眼睛、舌头、牙齿、全身和服装,无需额外建模即可立即使用。4、可动画化:角色配备复杂的骨骼装置,支持标准动画,增强其逼真外观和多样化应用。5、行业兼容:生成的3D角色可以无缝集成到现有的计算机图形(CG)工作流程中,特别是在游戏和电影行业中常用的工作流程。工作原理:Make-A-Character(MACH)结合了大语言模型、视觉模型和3D生成技术。1、文本解析:首先,MACH使用大语言模型来理解用户输入的文本描述。这个过程中,它会识别出文本中提到的各种面部特征。2、视觉映射:接着,这些语义属性(如脸型、眼睛形状等)被映射到对应的视觉线索上。这意味着系统会根据文本中的描述生成一个参考的人脸图像。这个步骤通常使用像“Stable Diffusion”这样的图像生成模型来完成。3、2D面部解析:生成的参考图像接下来会经过2D面部解析过程,这一过程涉及到对人脸的不同部分进行识别和分割。4、3D生成:基于面部解析的结果,MACH开始生成目标角色的3D网格和纹理。这个过程包括创建角色的3D模型,并且将纹理(如皮肤、头发等)应用到模型上。5、附加配件:如果文本描述中提到了其他配件(如眼镜、帽子等),这些也会在这一步骤中添加到3D角色上。6、参数化表示和动画:最终生成的3D角色是参数化的,这意味着可以容易地对其进行动画处理,比如添加行走、说话等动作。项目及演示:https://human3daigc.github.io/MACH/论文:https://github.com/Human3DAIGC/Make-A-CharacterGitHub:https://arxiv.org/pdf/2312.15430.pdf