官方网站-首页

【导语】在三维重建技术日新月异的今天，3DGS以其颠覆性的场景表示与渲染架构，引领着高精度三维重建的新纪元。本文将深入探讨3DGS技术的核心环节，特别是数据采集与三维重建的关键步骤与技术细节。从专业采集车的运用，到点云生成的精细处理，再到光场重建的创新流程，我们将逐步揭开“从像素到三维”的神秘面纱，展现3DGS技术如何在实际应用中实现高效逼真的三维场景重建。

在三维重建技术从 “传统低效” 向 “高效逼真” 跨越的进程中，3DGS 凭借颠覆性的场景表示与渲染架构，为高精度三维重建(jiàn)提(tí)供(gōng)了(le)全新(xīn)可(kě)能(néng)。本(běn)文将(jiāng)聚(jù)焦(jiāo) 3DGS 技(jì)术(shù)落(luò)地(de)的(de)核(hé)心(xīn)环(huán)节(jié)，解(jiě)析(xī)数(shù)据(jù)采集、三(sān)维(wéi)重(zhòng)建(jiàn)的(de)关键步(bù)骤(zhòu)与(yǔ)技(jì)术(shù)细(xì)节(jié)，揭(jiē)开(kāi) “从(cóng)像(xiàng)素(sù)到(dào)三(sān)维(wéi)” 的(de)实(shí)现(xiàn)密(mì)码(mǎ)。

基(jī)于(yú)的(de)高(gāo)精(jīng)度(dù)三(sān)维场景重建的生产流程主要分成四个步骤，包括数据采集、三维重建、引擎集成、VR搭建。其中引擎集成和VR搭建涉及更多的是工程实现。本文重点介绍数据采集、三维重建的过程。

图2 生产流程

1、数据采集

关于采集场景的要求，采集前需对场地进行考察，根据场景制定合理的采集动线路线，应尽量完成场地清场，并对环境整理留出采集动线空间。采集中，避免移动场景中物体，避免移动物体、人等进入采集画面，并且尽量保证环境光照稳定，不可忽明忽暗。

图3 采集角度示意图

图4 采集路线示意图

为了保证场景重建质量，提升数据采集效率，采用专业采集车进行拍摄采集，采集车是有多台运动相机组成的相机阵列，各个相机的位置分布和朝向设计如图3，采集车的行进方向参考图4采集路线示意图，整体采集车如图5所示，图6是使用专业采集车进行室外拍摄的路线示意图。

图5 专业采集设备示意图

图6 室外采集路线示意图

2、点云生成

点云生成一般通过以下步骤进行。首先对拍摄数据进行预处理，通过图片质量检测，移除模糊图片。之后，通过对应点检索进行相机校准和照片对齐，完成相机位姿计算并获得初始点云。随后进行增量式重建，增量式重建主要利用SfM(Structure From Motion，从(cóng)运(yùn)动(dòng)中(zhōng)恢(huī)复(fù)结(jié)构(gòu))，SfM是(shì)一(yī)种(zhǒng)从(cóng)一(yī)组(zǔ)不(bù)同(tóng)视(shì)角(jiǎo)下(xià)拍(pāi)摄(shè)的(de)无(wú)序(xù)或(huò)有(yǒu)序(xù)影(yǐng)像(xiàng)中(zhōng)，同(tóng)时(shí)恢(huī)复(fù)场(chǎng)景(jǐng)三(sān)维(wéi)结(jié)构(gòu)和(hé)相(xiāng)机(jī)姿(zī)态(tài)的(de)技(jì)术(shù)。增(zēng)量(liàng)式(shì)SfM会(huì)选(xuǎn)择(zé)无(wú)序(xù)影(yǐng)像(xiàng)进(jìn)行(xíng)特(tè)征(zhēng)匹(pǐ)配(pèi)，并(bìng)进(jìn)行(xíng)几(jǐ)何(hé)纠(jiū)正(zhèng)、三(sān)角(jiǎo)测(cè)量(liàng)恢(huī)复(fù)稀(xī)疏(shū)点(diǎn)云(yún)结(jié)构(gòu)，通(tōng)过(guò)已(yǐ)有(yǒu)点(diǎn)云(yún)重(zhòng)新(xīn)估(gū)计(jì)相(xiāng)对(duì)姿(zī)态(tài)，再(zài)进(jìn)行(xíng)局(jú)部(bù)和(hé)全局(jú)的(de)BA优(yōu)化(huà)，最(zuì)后(hòu)输(shū)出(chū)全部(bù)的(de)相(xiāng)机(jī)参(cān)数(shù)和(hé)稀(xī)疏(shū)三(sān)维(wéi)点(diǎn)云(yún)。

图(tú)7 稀(xī)疏(shū)点(diǎn)云(yún)和(hé)相(xiāng)机(jī)姿(zī)态(tài)的(de)计(jì)算(suàn)流(liú)程(chéng)

一(yī)般(bān)在(zài)采集照(zhào)片(piàn)充(chōng)足(zú)，质(zhì)量(liàng)高(gāo)的(de)情(qíng)况(kuàng)下(xià)，获(huò)取(qǔ)的(de)相(xiāng)机(jī)位(wèi)姿(zī)和(hé)实(shí)际(jì)采集位(wèi)置(zhì)相(xiāng)似(shì)，且(qiě)初(chū)始(shǐ)点(diǎn)云(yún)形(xíng)状(zhuàng)可(kě)明(míng)显(xiǎn)看(kàn)出(chū)和(hé)采集场景一致。下面是厦门钢琴博物馆室内场景的部分拍摄图片，以及计算得到的相机位姿和稀疏模型。

图8 钢琴博物馆的拍摄图片

图9 钢琴博物馆的稀疏点云

如果发现有很多相机位姿发生了漂移或初始点云有明显的异常，则需要重新选择照片或根据异常情况重新补拍照片，然后重新计算相机位姿及初始点云。

图10 metashape初始点云异常情况

3、光场重建

3DGS三维场景重建的大致流程如图11所示，包括：

图11 3DGS的基础流程

①输入：输入是一组静态场景的图(tú)像(xiàng)，以(yǐ)及(jí)通(tōng)过(guò)SfM算(suàn)法(fǎ)得(de)到(dào)的(de)SfM点(diǎn)，以(yǐ)及(jí)所(suǒ)有(yǒu)图(tú)像(xiàng)对(duì)应(yīng)的(de)相(xiāng)机(jī)位(wèi)姿(zī)。

②初(chū)始(shǐ)化(huà)：对(duì)获(huò)取(qǔ)的(de)每(měi)个(gè)稀(xī)疏(shū)点(diǎn)云(yún)创(chuàng)建(jiàn)初(chū)始(shǐ)化(huà)3D高(gāo)斯(sī)椭(tuǒ)球(qiú)，其(qí)由(yóu)位(wèi)置(zhì)（平均值）、协方差矩阵（XYZ轴缩放因子、旋转因子等）、不透明度和球谐函数系数（后文简称SH系数）所定义。该定义允许3D场景合理紧凑的表示，并通过调节参数紧凑化表示精细化场景结构。其中使用球谐函数来映射整个辐射场的方向性外观分量（RGB颜色）。

③构建梯度流迭代优化：3D高斯椭球在对应的相机位姿下进行投影，获取光栅化之后的图像，与真实输入图像（真值图像）进行比对优(yōu)化(huà)，对初始化后的参数（位置、协方差矩阵、SH系数、高斯球密度的自适应控制）进行优化，同时通过自适应密度控制策略对高斯球进行拆分融合操(cāo)作(zuò)。图(tú)12展(zhǎn)示(shì)了(le)多(duō)个(gè)场(chǎng)景(jǐng)的光场重建效果，图13展示了使用MetaQuest VR头显体验6DoF实景漫游。

图12 实景1:1光场重建复刻效果。左上：首钢冰壶馆；左中：咪咕咖啡；左下：首钢咪咕大楼；右上：信息港二期大堂；右中：信息港工区；右下：信息港二期一层休息区

图13 MetaQuest VR头显体验效果图