单图秒出3D人模港科广攻破建模难题
只用一张照片,做出高保真3D人体模型?港科广团队最新研究MultiGO做到了!
他们借助“分层建模”思路,把人体拆解成三个层级:骨架、关节、衣物褶皱,像搭乐高一样从大块建轮廓,到小块补细节,再上纹理,层层细化。研究已入选CVPR 2025,代码也即将开源。
以前的方法多靠预训练模板,难搞细节、不准骨骼。MultiGO用三招解决:
- 骨架增强:把3D傅里叶特征投影到2D图像,借SMPL-X模板搞定骨架对齐。
- 关节扰动:训练时特意“搞乱”关节位置,让模型更抗误差。
- 皱纹去噪:用扩散模型思路,把粗糙当噪声处理,细节一点点“洗”出来。
三层模块层层递进,互相配合。骨架准了,关节稳了,皱纹细了,模型从整体到细节都更像人了。最终效果直接拉满,在CustomHuman和THuman3.0测试集中,精度指标全线领先。
不仅精度高,这项技术还有超多用武之地,如虚拟试衣、虚拟角色定制、影视特效等,详情看文章: