在虚拟现实和3D建模领域,构建动态、高保真的数字人体模型一直是一项充满挑战的任务,尤其是在应用有限数据源(如单视角多段视频)的情况下。
挑战与传统方法
传统方法通常依赖大量训练数据和复杂的神经网络结构,需要在数字模型的详细准确性与实时应用程序所需的计算效率之间取得平衡。这在渲染速度和模型保真度方面经常需要做出妥协。
Human101框架的引入
浙江大学ReLER实验室与CCAI的合作带来了一项创新突破,他们共同开发了Human101框架,旨在显著提高虚拟现实应用程序中的训练和渲染速度。
Human101的核心技术
Human101的核心技术在于整合了3D高斯散射和先进的动画技术,以高效处理单视角视频数据,实现动态的3D人体模型重建。
新颖的高斯动画方法
该框架采用一种新颖的、以人类为中心的前向高斯动画方法,通过避免对目标姿势点进行穷举搜索,将规范点直接变形到观察空间,简化了变形过程并提高了渲染速度。
规范人类初始化方法
Human101还引入了规范人类初始化方法,更有效地初始化原始高斯分布,显著提高了模型的收敛速度。
显著的性能提升
测试结果显示,使用Human101训练3D高斯体能够在短短100秒内完成,相较于现有方法,时间大幅缩短。
此外,渲染速度超过每秒100帧,这一重大改进为实时交互式应用程序和沉浸式虚拟现实体验开辟了新的可能性。这种高效性并未以质量为代价;Human101框架成功保持了甚至在许多情况下超过当前方法的视觉保真度,为数字人体建模领域注入了新的活力。