机器之心专栏
作者：黄经纬
华为HDC2022发布3D实景地图，可以实现任意视点3D物理环境的实景绘制。
几千年来，人类一直致力于记录和解释物理世界。 随着计算机科学的发展，数字化重建物理世界不仅是一个长远的理想，也是千行百业努力的当前工作。 通过真实数字化重建三维物理环境，进而从任意视角观察重建的环境，是每个人在图形学、计算机视觉领域的终极梦想，也是虚拟增强现实、元宇宙等诸多未来应用的基础。
华为HDC2022发布了震撼人心的3D实景地图，可以实现任意视点的3D物理环境的实景绘制。 2500张照片，仅用30分钟就能构建5平方公里的超精细数字世界，具有厘米级的精细化建筑和真实的光线还原能力。
华为3D真人地图技术毕业于斯坦福大学，目前由华为2012实验室技术专家黄经纬博士及其团队研发完成。 首先，我们来看看使用真人渲染技术的室内外效果。
1问题背景
从任意视点观察一个三维场景在游戏领域得到了广泛的应用。 通过在美术师描绘的三维场景中加入标准的CG绘制流水线，用户可以自由地搜索场景的各个角落。 为了通过自动化手段获得更真实的场景，计算机视觉人员致力于采集现实物理世界的数据，重建双胞胎的三维场景以供预览。 但是经过几十年的发展，重建模型的渲染效果仍然不足以替代人工生产的场景。 为了进一步改善复杂光照场景下的渲染效果，提出了光场重建和渲染技术，在小场景下取得了惊人的效果。 近年来，神经辐射场( NeRF )的概念可用于同时重建复杂几何和光。 但是，在复杂的大场景中，这些方案是有限的。 华为3D真人地图整合了各方案的优势，可以在复杂的大场景下进行高质量的逼真重建和快速渲染。
2相关工作的局限性和机遇
除许多昂贵的三维重建解决方案外，最接近商用的解决方案仍然是基于多视点图像的三维重建。 但是，在重构技术中，由于容易假定表面在各视角具有均匀的光，所以无法应对高光、半透明物体的重构。 光场重建模型可以基于不同视角下采集的光加权处理复杂光照，但表面重建错误时，在新视点的渲染中往往会出现残像。 神经辐射场( NeRF )技术可以使用复杂模型准确地概括真实场景，但恢复模型参数往往需要密集采集的图像，否则就存在约束不足的问题，稀疏采集的大场景尤其缺乏新视点的泛化性
但是，每个方案也有他们的优势。 基于多视点图像的各向同性光照假设在大多数情况下都很实用，基于搜索深度信息的本质使其具有稀疏视点的高效重建和寻优泛化性，可以很好地弥补光场渲染和神经辐射场渲染的不足。 光场渲染可以直接从收集的光中获取颜色，不需要像神经辐射场那样优化复杂的MLP或调和函数，同时保证真实性。 神经辐射场作为全局模型，在改善传统重建融合局部重建结果不能全局优化的情况下，引入不透明度体绘制，提高了模型的环境刻画能力。
3解决方案
华为3D实景地图结合各所长，提出了显式辐射场模型。 系统模块如下。
第一阶段，系统采用传统的三维重建方法粗略构建环境，形成三角形网格。 针对3D数字溪村场景，初始几何构建能力使系统能够快速构建500米高空航拍的2500张图像，具有泛在性，可以用新视点进行渲染。 此模型是一个粗模型，可直接用于渲染，但几何图形和环境照明恢复是不现实的。
在第二阶段，粗模型被初始化为将辐射场显示为环境轮廓。 其具体表现形式为纯几何学，即在粗糙表面附近明确记录的不透明度为1，其他地方的不透明度为0。 其次，利用采集的图像和三维重建获取的图像姿态，进一步优化辐射场模型。 具体来说，可以通过扩展每个子区域的区域来优化不透明度，以过滤重建的粗模式噪波并补充模型中的缺失几何。 在此过程中，神经辐射场对照明模型不表示为MLP或球面调和函数，而是直接使用光场渲染等采样技术快速获得特定位置和方向的最佳模型照明。 由于采样具有使用加权平均的限制，与对应所拍摄图像的像素比相比，空间中没有表面的点仍然会引起很大的颜色误差。 因此，可以使用L2损失函数调整不透明度并优化几何体。
在最后阶段，辐射场模型将转换为可用于渲染管线支持的网格模型。 使用纹理模型进行光栅渲染对于性能尤为重要。 将显式照射场模型重新构建为网格，并基于光场渲染压缩技术将曲面照明压缩为多个纹理，用于使用着色器进行快速渲染。 在大型场景中，几何体进行细节层次化，以实现从粗略加载到精细加载的模型渲染。
因此，显式照射场技术集成百家所长，实现良好的视角通用性、精细的几何和真实的照明效果，能够高效地处理大规模场景。
4效果演示
显式照射场技术可以在重建的环境中获得逼真的渲染照明效果。
与传统的几何重建(左)相比，辐射场能更好地恢复精细桥梁结构(右)。
另外，本技术可以恢复透明玻璃、高亮桌面等复杂材质效果和复杂几何(植物、吊灯)。
5挑战与未来
虽然在技术上实现了显著突破，但其商业价值仍然需要时间挖掘和思考，其主要问题是环境采集方式。 为了获得优质的环境重建，图像的收集往往需要专家和专业设备。 例如，大型室外环境可以通过专业的大型飞机倾斜拍摄来进行。 航空飞行场景容易遮挡地面，对于自由度较高的街景等地面APP应用，需要地面收集的数据以避免航空飞行带来的遮挡问题。 另外，为了确保环境的高覆盖，地面采集需要使用全景设备，采集需要额外的成本，不适合众包生产。
从应用来看，未来最广阔的市场仍然是广大的消费者，因此对大规模实景地图的云绘制技术至关重要。 另外，如何将真实场景和价值APP结合起来带来新的用户体验，仍然是元宇宙行业需要思考的首要命题。 2B场景中，有很多客户需要真实场景的渲染能力，但其带来的价值和生产成本之间的平衡还需要进一步探索才能找到技术的真正落脚点。
6致谢
本技术由华为2012实验室技术专家黄经纬、预研算法工程师郭晓阳、时北极、三维重建工程师张彦峰、空三和采集负责人张行航等成员共同完成。 更多3D数字溪村体验，可以在Petal Map地图APP上搜索松山湖溪村体验。
欢迎访问技术负责人主页： https://cs.Stanford.edu/~请通过jingweih或邮件联系作者： jingweih@cs.stanford.edu
