The Relightables可形成动态人体3D模型

作者:陈明阳电子时报

谷歌开发了& # 34；可点燃的东西& # 34；该系统结合了动态人体可调3D模型光照的重建技术和自由视点体捕捉技术，可以生成高分辨率、光源可调的3D模型动态人体，可以应用和集成到任何几何精度非常高的计算机生成(CG)环境中。

体积捕捉技术可以用360度设置的多个相机拍摄动态人体，可以产生像照片一样的真实图像，细节如衣服变形和头发运动。但是用来制作动态人体的3D模型有两个严重的缺陷:一是输出结果比3D模型更像3D电影，人体的姿态、特征、服装都不能再改变了；其次，照明光源只能维持拍摄时的状态，事后无法调整。

由通用体积测量和捕获系统生成的3D模型缺乏高分辨率细节，并且主体的阴影已经被预烘焙到纹理中。以往大多数体积测量和捕获技术的研究进展主要集中在高分辨率纹理的三维几何重建上，很少涉及光源重照明所需的光度特性。

许多研究致力于获得可调光源的图像，在一组基本照明环境中拍摄人体，然后组合图像以在目标环境中显示它们，并正确反映环境中的照明条件。"可点燃的东西& # 34；这项技术首先应用于高分辨率体积测量和捕获系统。通过解决光源调整的问题，生成的3D模型可以应用于任何虚拟环境，可以反映虚拟环境的光源光照。

"可点燃的东西& # 34；该系统可以拍摄人体的全身动作，产生高分辨率、照片般的、光源可调的动态人体3D模型。虚拟光源可以使3D模型生成的图像看起来像是被真实光源照亮，因此可以用于游戏、电影等会发生变化并自然融入应用场景的光照环境。谷歌的研究团队已经在SIGGRAPH Asia 2019 & # 34可点燃的东西& # 34；系统。

研究团队将对象放在一个定制的测地线球体中，球体上配备了大量的高分辨率相机，一套高分辨率的主动深度传感器，以及3D模型 LED灯，这些灯可以以特殊的结构模式移动，并在相机拍摄人体时产生各种颜色，这样就可以产生一个高分辨率，光照不可知，可重新照明的动态人体。

"可点燃的东西& # 34；该系统的创新之处在于Google AI的研究团队设计的专属硬件和软件，包括可捕捉高达12.4MP深度图的主动式深度传感器；几何和机器学习相结合的3D图像重建系统用于处理输入的高分辨率图像并输出具有可调光源的体视频。

此外，它可以很好地利用以60Hz拍摄的具有不同颜色梯度照明的两幅图像中包含的信息来生成动态人体的时间一致的反射系数图。许多试验、比较和应用的结果表明& # 34；可点燃的东西& # 34；通过系统体积测量捕捉的可调光源和动态人体3D模型在应用于任何计算机生成的环境时都能显著增强真实感。