论文题目

3D Gaussian Splatting: Survey， Technologies， Challenges， and Opportunities

摘录

3D高斯泼溅(3DGS)还是成为一种凸起的时刻，有可能成为3D暗示的主流方法。该算法不错通过高效的磨真金不怕火，将多视图图像灵验地改造成显式的三维高斯暗示，扫尾新视图的及时渲染。本调查旨在从多个交叉的角度，包括干系的任务、时刻、挑战和机遇，分析现存的3d打印干系责任。主要主见是为外行提供对该领域的快速默契，并协助讨论东说念主员丝丝入扣地组织现存时刻和挑战。具体来说，咱们深入讨论了3DGS的优化、应用和扩展，并说明它们的关心点或动机对它们进行了分类。此外，咱们对现存责任中发现的九种时刻模块和相应的改进进行了总结和分类。基于这些分析，咱们进一步讨论了各式任务中的共同挑战和时刻，提倡了潜在的讨论契机。

1先容

神经发射场(NeRF)的出现还是点火了对追求传神3D内容的十分大的兴味。尽管比年来NeRF时刻取得了长足的朝上，权贵提高了其践诺应用的后劲，但其固有的效率挑战仍未得到处治。3D高斯溅射(3DGS)的引入强劲地处治了这一瓶颈，扫尾了1080p分辨率下的高质地及时(≥30 fps)新视图合成。这一快速发展赶快引起了讨论东说念主员的极大关心，并导致了干系责任的激增。

由于3DGS的效率和可控的显式暗示，它的应用扩展到各式领域。其中包括增强造谣现实(VR)和增强现实(AR)的千里浸式环境，提高机器东说念主和自主系统的空间毅力，电影和动画中的先进视觉后果，以及城市贪图和建筑等。

为了匡助读者快速掌捏3DGS的讨论进展，咱们对3DGS过火卑劣任务进行了全面的概述。本调查系统地汇编了对于该主题的最障碍和最新的文件，提供了详备的分类和讨论他们的要点和动机。但是，咱们发当今不同的任务中不可幸免地会提到十分数目的类似时刻。因此，咱们进一步总结和分类了3DGS的各个时刻模块，如运行化、属性栽培、正则化等。基于此在时刻总结中，咱们旨在匡助读者发达不同时刻之间的连系，并增强3DGS的各个组件以满足他们的定制任务。此外，咱们讨论了3DGS中各式卑劣任务和时刻之间的相互关系，系统地描摹了四个主要挑战，以促进该领域的畴昔讨论。终末，咱们强调了现存讨论的局限性，并提倡了处治中枢挑战和鼓励这一快速发展领域的有但愿的阶梯。

天然已有一些讨论总结了3DGS的最新进展[1]，[2]，[3]，但咱们的主见是对3DGS的干系任务和时刻进行系统讨论和细粒度分类，并分析它们之间的共性和挑战，如图1所示。

图片

具体而言，本调查的主要孝敬如下:

1)本调查讨论了3DGS过火各式生息居品任务，包括3DGS的优化、应用和扩展。与现存的综述不同，咱们提供了基于焦点或动机的更详备的分类，使读者好像更全面地了罢职务并建立讨论标的。

2)更障碍的是，咱们综合分析了现存文件中3DGS中各式时刻的增强，并进行了详备的分类和深入的讨论。这使读者好像辩别各式改进时刻之间的共性，从而匡助他们将其应用于定制任务。

3)在分析现存责任和时刻的基础上，找出与3d打印干系的任务之间的共性和关联，总结中枢挑战。

4)在处治共同挑战方面，本调查发达了潜在的契机，并提供了真切的分析。

5)咱们还是在GitHub上发布了一个开源款式，用于编译3dgs干系的文章，并将连接在该款式中添加新的作品和时刻。https://github.com/qqqqqqy0227/awesome-3DGS。咱们但愿更多的讨论东说念主员不错使用它来获取最新的讨论信息。

如图2所示，本调查的结构组织如下:第2节描摹了3D高斯飞溅(3DGS)的布景和细节，强调了其相对于Neural Implicit Fields和Point-based Rendering的上风。第3节隆重于优化3DGS，以处治重建过程中碰到的挑战。第4节总结了3DGS的应用，并讨论了其鄙人游任务中的扫尾。第5节概述了3DGS的扩展，探索了增强其原始功能的方法。第6节整合了改进3DGS模块的各式时刻。第7节讲求了不同任务和时刻之间的相互关系，并总结了中枢挑战。终末，章节8概述了畴昔讨论的有但愿的阶梯，处治了现存的挑战和时刻优化，章节9总结了本次调查。

应该指出的是，本调查并未提供数据集的概述;详备信息不错在之前的综述[3]，[4]中找到。此外，在文章的前半部分，咱们主要描摹了现存的作品如何处治3DGS的卑劣任务，此后半部分则侧重于时刻。天然提到了一些重复的作品，但效劳点和内容有所不同。

2初步

2.1神经隐式场

神经内隐场表征在最近的讨论中引起了极大的关心[5]，[6]。这些方法将二维或三维信号办法化，将其重构为相应欧几里得空间中的场，行使翻脸样本来磨真金不怕火近似这些场的神经采集。这种方法有助于原始翻脸样本的重建，插值和外推，从而扫尾2D图像的超分辨率和3D场景的新视图合成等应用。在3D重建和新视图合成的特定布景下，神经发射场(Neural Radiance Fields， NeRF)[7]行使神经采集将3D场景的几何体式和外不雅建模为密度场和发射场。NeRF遴荐体绘制时刻，建立了三维现场到二维图像的映射关系，从而不错从多个二维图像中重建三维信号，扫尾新颖的视图绘制。在该领域现时最先进的方法中，Mip-NeRF 360[8]因扫尾超卓的渲染质地而脱颖而出，而Instant-NGP[9]因其超卓的磨真金不怕火效率而引东说念主收敛。

但是，神经隐式场方法严重依赖于体绘制过程来获取渲染像素。这个过程需要沿着每条射线采样几十到几百个点，并将它们输入神经采集以产生最终的成像间隔。因此，渲染一张1080p的图像需要约莫108次神经采集前向传递，这平方需要几秒钟。天然有些作品遴荐显式的、翻脸的结构来存储一语气的3D字段，从而最大限制地减少了对神经采集的依赖，加速了字段暗示的查询过程[9]，[10]，[11]，采样点的数目仍然会导致极高的渲染老本。这种基于体绘制的方法无法扫尾及时绘制，从而放手了其鄙人游任务中的适用性。

2.2基于点的渲染

由于一语气的3D字段不区分场景中已占用和未占用的空间，因此在体绘制过程中，大批采样点位于未占用的空间中。这些采样点对最终渲染间隔的孝敬很小，导致渲染效率很低。比拟之下，翻脸点云端示只记载了3D场景中确切被占用的部分，提供了一种更高效、更精准的暗示场景的方式。基于点云的渲染依赖于栅格化而不是随即采样，允许使用现代gpu进行及时渲染。

但是，现存的基于点云的高质地可微渲染方法平方依赖于预构建的点云或需要密集的点云重建。这些方法在磨真金不怕火过程中莫得进一步优化点云结构[12]，[13]，[14]，导致渲染质地高度依赖于运行点云质地，使最终图像容易出现伪影或不正确的外不雅。

2.3 3D高斯溅射

三维高斯飞溅[15]结合了神经隐式场和基于点的渲染方法的优点，在保持基于点的渲染智力的同期，获取了前者的高保真渲染质地，如图3所示。

图片

具体来说，3DGS将点云中的点界说为具有体积密度的3D高斯基元:

图片

其中Σ为三维协方差矩阵，x为距点(高斯均值)µ的位置。为了保证协方差矩阵的半正敬佩性，3DGS将协方差矩阵再行参数化为旋转矩阵R和缩放矩阵S的组合:

图片

其中三维缩放矩阵S不错用三维向量S暗示，旋转矩阵R通过可学习的四元数q得到，共有7个可学习的参数。与平方使用的保证矩阵半正敬佩性的Cholesky判辨比拟，3DGS使用的重参数化方法天然引入了特殊的可学习参数，但有意于对高斯基元施加几何经管(举例，经管缩放向量以使高斯基元具有平坦化特征)。除了几何属性外，每个高斯原语还存储一个不透明度α和一组可学习的球面谐波(SH)参数，以暗示与视图干系的外不雅。因此，整个原语的连合不错看作是一个翻脸的暗示，它只存储神经场的非空部分。

在绘制过程中，3DGS使用EWA飞溅方法[16]将三维高斯基元投影到二维成像平面上，并使用α混总诡计最终像素格式。对于每个像素，这种渲染过程类似于神经领域中使用的翻脸形势的体绘制，使3DGS好像构建复杂的场景外不雅并扫尾高质地的渲染。为了扫尾高帧率、高分辨率的可微分渲染，3DGS使用了基于tile的光栅化器。该光栅化器最先将图像区别为16 × 16块，并为每个块分拨索引。对于每个高斯原语，光栅化器敬佩原语的投影与哪些原语相交，并为每个相交的原语生成一个键值对:键是64位的，上头的32位暗示原语的索引，底下的32位暗示高斯原语的投影深度。通过构造这些键值对，光栅化器只需要对整个键值对实践全局排序，从而排斥了为每个像素对原语进行特殊排序的需要。排序之后，从每个tile派生的键值对驻留在一语气的内存间隔中。然后，每个贴图的渲染过程由CUDA线程块管理，每个块中的线程数与贴图中的像素数相匹配。每个线程肃肃其对应像素的α搀杂过程，从而完成最终渲染。

在磨真金不怕火动手时，运行高斯基元要么从Structure-from-Motion提供的稀疏点云运行化，要么随即运行化。高斯基元的运行数目可能不及以扫尾高质地的场景重建;因此，3DGS提供了一种自顺应戒指高斯基元的方法。该方法通过不雅察每个高斯原语在视图空间中的位置属性的梯度来评估原语是“欠重构”照旧“过度重构”。在此基础上，该方法通过克隆或分割高斯基元来增多高斯基元的数目，以增强场景暗示智力。此外，整个高斯原语的不透明度按时重置为零，以浮松优化过程中存在的工件。这种自顺应过程允许3DGS以更小的运行高斯集动手优化，从而浮松了畴昔基于点的可微渲染方法所需要的对密集点云的依赖。

3 .三维高斯溅射的优化

3.1效率

效率是评价三维重建的中枢目的之一。在本节中，咱们将从三个角度描摹它:存储、磨真金不怕火和呈现效率

3.1.1存储效率

3DGS需要数百万个不同的高斯原语来顺应场景中的几何体式和外不雅，这导致了很高的存储支拨:室外场景的典型重建平方需要几百兆到几千兆的显式存储空间。给定不同高斯基元的几何和外不雅属性可能是高度相似的，单独存储每个原语的属性可能导致潜在的冗余。

因此，现存的讨论[17]、[18]、[19]主要聚首在应用矢量量化[20](Vector quantiization， VQ)时刻对大批高斯原语进行压缩。Compact3D[18]行使VQ将不同的属性压缩成四个对应的码本，并将每个高斯的索引存储在这些码本中，以减少存储支拨。在建立码本后，通过码本将磨真金不怕火梯度复制并反向传播到原始的非量化高斯参数，同期更新量化和非量化参数，并在磨真金不怕火完成时丢弃非量化参数。此外，Compact3D遴荐了运行长度编码来进一步压缩排序后的索引值，从而提高了存储效率。类似地，Niedermayr等东说念主[19]提倡了一种基于贤惠度感知k-means的贤惠度感知矢量量化时刻来构建码本[21]，并行使DEFLATE压缩算法[22]进一步压缩磨真金不怕火好的码本。经过磨真金不怕火后，提倡了一种量化感知的微调战略来复原由于VQ而丢失的信息。

此外，一些讨论[23]、[24]、[25]旨在制定修剪战略或压缩SH参数。一些著述[23]、[24]同期计议了两者。LightGaussian[24]引入了基于全局权贵性评分的高斯剪枝战略和高次球谐参数的精馏战略。相通，Lee等东说念主[23]的责任引入了可学习掩模来减少原始高斯数，并引入了谐和的基于哈希网格的外不雅域[9]来压缩格式参数。与上述责任不同，自组织高斯[25]不使用传统的非拓扑VQ码本来压缩大批高斯函数。相背，它遴荐自组织映射的办法将高斯属性映射到相应的二维网格中。二维网格中的拓扑关系响应了原始属性空间中的拓扑关系，从而允许将拓扑结构化二维数据的压缩算法应用于无序高斯原语。

此外，还有一些讨论[26]、[27]侧重于提高高斯暗示的效率。Scaffold-GS[26]遐想了锚点和其他属性，以便灵验地暗示，这些属性具有改造为3DGS的智力。基于这种抒发，Scaffold-GS提倡了一套多分辨率体素网格上锚点滋长和修剪的战略。GES[27]引入了广义指数(GEF)搀杂物来取代高斯暗示，它具有灵验拟合随性信号的智力。通过为GEF遐想快速可微光栅化和调频图像亏蚀，GES好像在保持性能的同期使用较少数目的GEF原语。

3.1.2 磨真金不怕火效率

提高磨真金不怕火效率对3DGS来说也很障碍。DISTWAR[28]引入了一种先进的时刻，旨在加速基于栅格的可微分渲染应用模范中的原子操作，由于大批的原子更新，这些应用模范平方在梯度诡计时间碰到严重的瓶颈。通过在原子更新中行使原子局部性，并处治原子通讯在warp之间的可变性，DISTWAR使用寄存器在SM子核上扫尾了warp级别的线程减少。此外，它在SM和L2原子单元之间动态地分拨原子诡计。这种纯软件扫尾使用现存的warp级原语来最小化指向L2的原子操作的数目，从而权贵提高吞吐量。

3.1.3渲染效率

及时渲染是基于高斯方法的中枢上风之一。一些提高存储效率的责任不错同期提高渲染性能，举例，通过减少高斯原语的数目。在这里，咱们将讨论有助于这些朝上的其他责任。

在对3DGS进行磨真金不怕火后，[29]的责任是基于空曲折近度和对最终渲染的2D图像的潜在影响，通过离线聚类来事前识别和排除毋庸要的高斯原语。此外，这项责任引入了一个专门的硬件架构来支撑这种时刻，与GPU比拟，扫尾了10.7倍的加速。GSCore[30]提倡了一种硬件加速单元，用于优化3DGS在亮度场渲染中的渲染管说念。GSCore在分析高斯排序和栅格化的性能瓶颈的基础上，引入了高斯体式感老友叉测试、分层排序和轻飘跳转等优化时刻。在GSCore中扫尾这些时刻不错使挪动gpu的平均加速速率提高15.86倍。

3.2 传神渲染

Photorealism亦然一个值得关心的话题[31]。DGS有望在各式场景中扫尾传神的渲染。

一些[32]，[33]侧重于在原始栽培下进行优化。为了浮松对SfM运行化的依赖，GaussianPro[32]引入了一种翻新的结伴2D3D磨真金不怕火范式。建立在3D平面的界说和补丁，在匹配时刻方面，提倡了一种渐进式高斯传播战略，该战略行使3D视图和投影关系的一致性来优化渲染的2D深度和法线图。在几何滤波和取舍过程之后，优化的深度和法线贴图被用于密度化和特殊的监督，最终扫尾精准的几何暗示。FreGS[33]将监督过程迁徙到频域，并行使二维翻脸傅立叶变换的幅度和相位属性来浮松三维图像中的过度重构。基于这一念念想，FreGS引入了一种频域指挥的粗精退火时刻来排斥不但愿的伪影。

多圭臬渲染性能的急剧下跌亦然一个值得关心的话题[34]，[35]。这项责任[34]最先分析了低分辨率和远距离渲染下频域混叠的原因，行使多圭臬高斯来处治这个问题。然后，界说像素隐私范围，以响应与现时像素大小比拟的高斯大小。基于这个办法，它识别小高斯，并将它们团聚成更大的高斯，用于多圭臬磨真金不怕火和取舍性渲染。Mip-splatting[35]相通从采样率的角度处治了这个问题，它引入了一个基于Nyquist定理的高斯低通滤波器，说明整个不雅察样本的最大采样率来经管三维高斯的频率。为了处治混叠和推广伪影，Mip飞溅用2D Mip滤波器取代传统的2D推广滤波器，该滤波器近似于2D盒滤波器。与磨真金不怕火阶段的修改不同，SA-GS[36]在测试时间仅通过2D比例自顺应滤波器操作，使其适用于任何预磨真金不怕火的3DGS。

其他作品试图重建具有挑战性的场景，如反射名义[37]，[38]，[39]和Relightable[40]。GaussianShader[37]通过使用搀杂格式暗示并整合镜面GGX[41]和法向算计模块来重建反射名义，其中包括漫射格式、径直镜面反射和残余格式组件，该组件不错解释散射和曲折光反射等风物。此外，在磨真金不怕火过程中，GaussianShader在3DGS中引入了暗影属性和法向几何一致性经管。mirror -3DGS[38]增多了一个可学习的镜像属性来敬佩镜子的位置，并引入了一个造谣镜像视点来匡助在原始3DGS的基础上重建镜子场景。SpecGaussian[39]用各向异性球面高斯(Anisotropic Spherical Gaussian)代替正本的3DGS来构建具有镜面和各向异性重量的场景，并引入基于锚点的暗示[26]以提高效率。

可调光3D高斯(R3DG)[40]暗示使用可调光点的3D场景，每个点由法线标的、BRDF参数和入射照明表征，其中入射光被判辨为全局和局部组件，具有与视图干系的可见度。然后，在R3DG中遐想了一种新的基于范围体线索的基于点的后光追踪时刻，以扫尾高效的可见性烘烤和及时渲染，并具有准确的暗影后果。DeblurGS[42]处治了由严重费解引起的相机姿势不准确的挑战，这拦阻了畅通结构(SfM)的灵验性。DeblurGS通过算计每个费解不雅察的6解放度(6-DoF)相机畅通并合成相应的费解渲染来优化机敏的3D场景。本文还先容了一种用于磨真金不怕火褂讪性的高斯渊博化退火战略

3.3泛化和稀疏视图

在稀疏视图栽培下的泛化和重建问题一直是学术界关心的焦点。隐式暗示(如NeRF)和显式暗示(如3DGS)在践诺应用中都濒临着浩繁的吃力，因为每个场景都需要再行磨真金不怕火，何况对密集样本输入的需求很高。在本节中，咱们将讨论他们的实验栽培，并提供对现存作品的更详备的了解。

3.3.1可推行的三维高斯飞溅

现存的可泛化的3D重建或新颖的视图合成任务的主见是行使粗鄙的扶植数据集来学习与场景无关的暗示。在NeRF[43]，[44]，[45]的讨论中，该过程平方是输入小数(1-10)个姿态相邻的参考图像来推断主见图像。发射场动作一个中介，灵验地幸免了明确的场景重建的需要，并将任务升沉为一个场景不可知的新式视图合成问题。

比拟之下，3DGS的明确暗示导致了大批的责任聚首在使用参考图像径直推断相应的高斯基元的每像素基础上，随后被用于从主见视图渲染图像。为了扫尾这一丝，Splatter Image[46]等早期作品提倡了一种将图像改造为高斯属性图像的新范式，从而瞻望每个像素对应的高斯原语。然后将此范例扩展到多个参考图像，以获取更好的渲染性能。

但是，与NeRF中的泛化起劲不同，可泛化3DGS的磨真金不怕火难度显然增多。不可微渊博化等操作会对泛化磨真金不怕火过程产生负面影响。为了支吾这些挑战，pixelSplat[47]旨在从使用极极变压器结构[44]索要的特征中瞻望概率深度分散，并对该分散进行采样以替换不可微重量。

此外，基于多视图立体(MVS)的方法在场景重建和新视图合成方面取得了权贵的生效，非常是引入了老践诺积，增强了采集的空间默契智力。与MVSNeRF[48]中的方法类似，MVSplat[49]提倡使用三维空间中的平面扫描来暗示代价体积，并在稀疏参考输入中瞻望深度，精敬佩位高斯基元的中心。这种方法为新的视图合成提供了有价值的几何印迹。

此外，一些讨论[50]、[51]侧重于引入三平面来扫尾泛化智力。文件[50]先容了基于参考特征的点云端示解码器和三平面暗示解码器。通过并行解码，它们构建结合显式点云和隐式三面场的搀杂暗示，使高斯解码器好像在位置查询后径直瞻望高斯属性。基于类似的暗示，AGG[51]引入了一种基于伪标签的运行化方法和多阶段磨真金不怕火战略。该战略包括粗高斯生成，然后使用参考图像特征进行超分辨率生成，从而产生详备的输出。

3.3.2稀疏视图栽培

从稀疏输入重建存在首要挑战，其中3DGS的方法基本上类似于NeRF，其目的是开发新的正则化战略并整合补充信息，如深度数据。

Chung等东说念主[52]提倡使用单目深度算计模子来瞻望深度图，随后使用SfM[53]对深度图进行细化，以获取精准的深度范围。此外，他们的责任结合了深度平滑损结怨两种针对有限样本场景量身定制的改进时刻。在深度监督的基础上，FSGS[54]引入了一种接近指挥的高斯上采样方法来增多数目，并通过2D先验模子集成新的伪视图，以进一步缓解过拟合。

随后，Touch-GS[55]在机器东说念主感知应用中扩展了触觉感知的范例。触觉感知数据与单目深度信息对都后，基于隐式名义暗示灵验瞻望相应的深度和不敬佩性图，用于增强运行化和优化过程。

此外，DNGaussian[56]从正则化的角度探讨了这个问题，提倡了两种不同的正则化:硬深度和软深度，以处治场景几何的退化问题。然后，DNGaussian引入了全局和局部深度归一化方法，以提高对局部深度轻飘变化的贤惠度。

一些讨论聚首在运行化和磨真金不怕火战略上。GaussianObject[57]引入了一种基于Visual Hull的运行化战略和一种行使距离统计数据来排斥飘摇物的优化方法。此外，GaussianObject遐想了一个高斯竖立模块，其中包括数据采集、磨真金不怕火和推理范例，从而行使预磨真金不怕火模子来处治稀疏视点条件下的讳饰和信息丢失问题。

4 三维高斯溅射的应用

由于其效率和传神的渲染后果，3DGS在各式应用领域施展出色，包括数字东说念主体重建，东说念主工智能生成内容(AIGC)和自动驾驶等。在前东说念主探索的基础上，3DGS可径直动作中枢时刻应用于多个讨论领域，灵验取代传统的3D暗示方式。

4.1东说念主体重建

3DGS在数字东说念主体干系任务中的应用，包括东说念主体重建、动画和东说念主体生成，还是引起了讨论界的粗鄙关心。最近的作品不错说明重建的部分进行分类。

4.1.1东说念主体重构

东说念主体重构主如果在多视角或单目视频中重构可变形的东说念主体化身，并提供及时渲染。咱们在表1中列出了近期作品的比较。

图片

大多数讨论[58]、[60]、[61]、[62]、[63]倾向于使用事前构建好的东说念主类模子，如SMPL[66]或SMPLX[67]动作强先验学问。但是，SMPL仅限于引入对于东说念主体自身的先验学问，因此对服装和头发等外部特征的重建和变形提倡了挑战。

对于外不雅的重建，HUGS[60]仅在运行阶段使用SMPL和LBS，允许高斯原语偏离运行网格，以准确地暗示服装和头发。Animatable Gaussian[65]使用一个不错得当外不雅的模板动作率领，并行使StyleGAN来学习posedependent高斯映射，增强了对详备动态外不雅建模的智力。GaussianAvatar[61]遴荐了一种捕捉粗造全局外不雅的特征，该特征与姿势特征相结合。然后将这些组合的特征输入到解码器中以瞻望高斯基元的参数。DGS-Avatar[63]引入了一种非刚性变换模块，该模块行使多级哈希网格编码器对3D位置进行编码，并将其与位姿潜相团结，形成浅MLP采集的输入，该采集瞻望高斯在某些位姿下的位置、圭臬和旋转的偏移量。

此外，某些讨论[60]，[62]取舍不成使这一性情，从而镌汰变形的复杂性，促进更快的渲染速率。但是，这些方法也引入了一定进程的失真。一些讨论将问题空间从3D投影到2D，从而镌汰了复杂性，并好像行使锻练的2D采集进行参数学习。ASH[64]提倡通过变形采集生成与畅通干系的模板网格，并从该网格瞻望与畅通干系的纹理映射。然后，二维采集通过生成的纹理图瞻望高斯参数。类似地，Animatable Gaussian[65]将模板网格东说念主体模子从范例空间投影到两个二维平面(正面和后面)上，并在这些空间中学习高斯属性。gps -高斯[59]通过引入高斯参数图(Gaussian Parameter Maps)来处治可泛化的东说念主类新视图合成问题，这种图不错径直讲求，而无需对每个主题进行优化。该方法辅以深度算计模块，将2D参数图进步到3D空间。

4.1.2头部重建

在东说念主类头部重建领域，像大多数使用SMPL动作强先验的管说念一样，GaussianAvatars[68]的责任集成了FLAME[69]网格，为3DGS提供先验学问，以扫尾超卓的渲染质地。该方法抵偿了FLAME网格无法准确描摹或追踪的细节和元素。但是，高斯头像[70]品评使用火焰网格和线性搀杂皮肤(LBS)面部变形，收敛到这些相对简易的线性操作难以捕捉复杂面部热枕的轻飘别离。相背，它建议使用MLP来径直瞻望高斯函数从中性抒发式革新为主见抒发式时的位移。这种方法有助于渲染高分辨率头部图像，扫尾高达2K的分辨率。

4.1.3其他

此外，3DGS还在其他与东说念主类干系的领域推出了翻新的处治有规划。GaussianHair[71]专注于东说念主类头发的重建，使用团结的圆柱形高斯模子雠敌发进行建模。同期，专门引入了高斯毛发散射模子，进一步增强了对结构的拿获，使重建的链在不同光照条件下都能以高保真度渲染。Gaussian Shadow Casting for Neural Characters[72]的讨论侧重于各式视角和畅通下的暗影诡计，最先使用NeRF从输入的东说念主体姿势和磨真金不怕火图像中重建密度、法线和倒映率值的体积。随后，它将NeRF输出密度映射与一组各向异性高斯函数拟合。高斯暗示扫尾了更灵验的后光追踪和蔓延渲染时刻，取代了传统的采样过程，从而加速了暗影的诡计。此外，一些讨论[73]，[74]探讨了3DGS与生成模子的集成，这将在4.2节中讨论。

4.2东说念主工智能生成内容(AIGC)

东说念主工智能生成内容(AIGC)行使东说念主工智能时刻自主生成内容。最近，基于3DGS生成3D (XY Z)暗示的方法激增。在本章中，咱们说明辅导的类型和它们生成的对象系统地对现代算法进行分类。类别包括图像到3d对象生成、文本到3d对象生成、多对象和场景生成、4D生成(XY Z−T)，如图4所示。底下，咱们将概述这些类别中的干系责任。

图片

4.2.1 T文本到3D对象

面前，大批的讨论致力于扩展分数蒸馏采样(SDS)[79]，它在这方面起着至关障碍的作用，旨在使用蒸馏范式径直生成具有多视图一致性的3D暗示。为了进一步发达SDS，咱们将三维暗示暗示为θ，将可微渲染过程暗示为g(·)，从而将渲染图像暗示为g(θ)。DREAMFUSION[79]确保来自每个录像机视点的渲染图像遵守来自预磨真金不怕火扩散模子φ的简直样本。在实践中，他们行使现存扩散模子的分数算计函数ϵϕ(xt， t， y)，其中ϵϕ说明噪声图像xt和文本条件y瞻望采样噪声。因此，分数蒸馏亏蚀的梯度为θ，

图片

其后的作品粗鄙遴荐了这种方法，或其改进的变体，动作生成的主要监督。一些作品[75]、[80]、[81]侧重于改进框架，将分数蒸馏亏蚀应用于3DGS。

DreamGaussian[75]是一项将扩散模子与3DGS相结合的早期责任，它遴荐了两阶段的磨真金不怕火范式。该方法建立在分数蒸馏采样(SDS)的基础上，通过从3DGS中索要显式网格暗示来确保生成模子的几何一致性，并在UV空间中细化纹理以提高渲染质地。与此同期，Chen等东说念主[80]的责任引入了Point-E[82](或其他文本到点云模子)以及3D分数蒸馏亏蚀来率领第一阶段的3D几何生成。在第二阶段，遴荐基于密度的渊博化，进一步细化发电质地。类似地，GaussianDreamer[81]遴荐了相通的基本办法;但是，它的区别在于遴荐噪声点增长和格式扰动等战略来处治运行化过程中点云密度不及的问题。

但是，分数蒸馏的寻模范式常常导致生成的间隔过饱和、过度平滑和艰巨细节，这在NeRF的干系责任中得到了粗鄙的讨论[83]。GaussianDiffusion[84]引入变分高斯来浮松二维扩散模子的不褂讪性，并结合结构化噪声来增强三维一致性。

也有一些责任侧重于改进SDS。luciddream[85]处治了传统SDS固有的过度平滑和采样门径不及的挑战。通过引入敬佩性扩散轨迹(DDIM[86])和基于区间的分数匹配机制Eq. 9，扫尾了超卓的生成质地和效率。随后，Hyper-3DG[87]建立在luciddream[85]的基础上，通过引入超图[88]来探索贴片高斯原语之间的关系。相通，LODS[89]分析了磨真金不怕火和测试过程之间的内在不一致性以及SDS中大型CFG (Classifier-Free Guidance)导致的过平滑效应。为了支吾这些挑战，LODS提倡了一组特殊的可学习的无条件镶嵌和LoRA (low-rank Adaptation)的低秩参数[90]。

分数蒸馏亏蚀在AIGC中也不错替代。IM-3D[91]识别了与分数蒸馏亏蚀干系的优化贫苦。因此，它试图微调现存的图像到视频生成模子，以生成多视图空间一致的图像(视频)。这些生成的多视图图像然后用作3DGS生成的监督。类似地，LGM[92]提倡了一种从文本或单个图像生成3DGS的新范式。它行使已有的采集生成主见的多视图图像，并行使具有交叉视图自关心的基于非对称U-Net的架构重建不同输入下的三维模子。

作品[93]，[94]旨在仅使用前馈采集生成，而不需要特定场景的磨真金不怕火。brightdream[93]旨在将3.3.1中所述的可综合暗示纳入文本到3D生成中，从而无需在特定场景中进行再培训即可径直创建3D模子。brightdream瞻望固定运行化后的位置偏移量，并对索要的文本特援引入一个文本指挥的三平面生成器来瞻望3DGS的其他属性，从而扫尾随性文本到3D模子的改造。GVGEN[94]关心的是莫得三平面的前馈栽培，提倡了高斯体积动作可泛化生成的结构化轻量级暗示。在此基础上，GVGEN通过磨真金不怕火好的扩散模子生成高斯距离场，并行使它来率领相应属性的瞻望。

一些作品[73]，[74]也试图将这种生成范式应用于数字东说念主类生成等领域。HumanGaussian[74]结合RGB和深度渲染来改进SDS，从而共同监督东说念主体外不雅和几何结构感知的优化。此外，它还引入了退火负辅导率领和基于缩放的修剪战略来处治过饱和和浮动伪影。除了大批依赖于扩散模子的责任外，Abdal等东说念主[73]的责任还提倡了一种将3DGS与Shell Maps[95]和3D生成对抗采集(GANs)框架相结合的新范式。通过行使高斯壳映射，该方法快速暗示东说念主体过火相应的变形。

4.2.2图像到3D对象

类似于NeRF的责任，最近的讨论[77]，[96]也专注于从单个图像生成通盘3DGS。

Repaint123[77]遵守类似于DreamGaussian[75]的过程，将这一过程分为粗优化阶段和细优化阶段。在粗化阶段，它使用预磨真金不怕火的Zero-123[97]动作监督，并使用SDS优化粗化3DGS。在精细阶段，Repaint123从第一阶段索要网格暗示，并提倡结合深度和参考图像来率领新视图图像的去噪过程，确保视图之间的一致性。对于视图之间的近似和讳饰区域，Repaint123遴荐可视性感知自顺应重绘方法来提高这些区域的重绘质地，然后用于微调3DGS。

FDGaussian[96]提倡了一种更径直的方法，将通盘生成过程分为多视图图像生成和3DGS重建。在生成阶段，FDGaussian通过正交平面解耦从图像中索要三维特征，优化基于0 -1- 3的多视图生成模子[97]。在重建阶段，通过基于戒指优化的方法，提高了3DGS的效率和性能基于高斯间距离和极外关心的和会战略。

4.2.3多主见和场景生成

在大多数应用场景中，除了单对象生成以外，多对象和场景生成更为障碍。

多主见生成:一些讨论[78]、[98]探索了多个复合对象的生成，这些讨论不仅关心单个对象，而且旨在讨论多个对象之间的相互作用。CG3D[98]分别讨论了这两个方面。对于单个物体的重建，CG3D在Alpha hull上引入K摆布亏蚀[99]，以确保瞻望的高斯原语均匀分散并聚首在物体名义。为了瞻望多个对象之间的相互作用，CG3D行使SDS和从文本中索要的概率图模子来瞻望对象之间的相对关系。终末，通过结合重力和物体之间的构兵关系等先验，CG3D扫尾具有真什物理交互的模子。

为了简化这一问题，GALA3D[78]使用大型谈话模子(llm)生成的布局来率领多个对象重建。GALA3D通过探索位置分散并说明布局优化高斯基元的体式，生成相宜指定布局的场景。此外，通过SDS监督单个对象和通盘场景的生成，并引入布局细化模块，GALA3D扫尾了愈加传神和文本一致的生成间隔。

场景生成:与以对象为中心的生成不同，场景生成平方需要结合特殊的扶植信息，举例预磨真金不怕火的单目深度算计模子，以扫尾高精度运行化。为了扫尾这一丝，LucidDreamer2[100]遐想了一个两阶段的生成范式。在第一阶段，LucidDreamer2行使预磨真金不怕火的文本到图像模子和单目深度算计模子来运行化点云，并在绘画模子中引入褂讪扩散[101]来完成多视图一致的场景点云。第二阶段，使用生成的点云对3DGS进走运行化，并扩展监督图像，确保磨真金不怕火过程愈加流通。基于类似的范例，Text2Immersion[102]引入了姿势渐进生成战略来扫尾更褂讪的磨真金不怕火过程，并结合了放大视点和预磨真金不怕火的超分辨率模子来优化生成的场景。

4.2.4 4D生成

除了静态场景外，一些讨论[76]、[103]、[104]还是动手深入讨论动态3D场景。与使用文本到图像的SDS生成静态场景类似，东说念主们很天然地觉得文本到视频的SDS可能会生成动态场景。

Align Your gauss (A YG)[103]明确地将问题分为两个阶段:静态3DGS重建和4DGS(动态3DGS)重建。在静态重建阶段，A YG将预磨真金不怕火的文本指挥多视图扩散模子MVDream[105]和文本到图像模子结合起来，共同监督3DGS磨真金不怕火。在动态重建阶段，A YG提倡使用预磨真金不怕火的文本到图像和文本到视频模子来监督动态3DGS磨真金不怕火。此外，A - YG引入了简化的分数蒸馏亏蚀来镌汰磨真金不怕火的不敬佩性。

DreamGaussian4D[76]建立在DreamGaussian[75]的基础上，以单个参考图像动作输入，行使预磨真金不怕火的图像到视频模子以及多视图生成模子进行监督磨真金不怕火。GaussianFlow[104]旨在行使视频中的光流信息动作扶植监督来扶植4DGS的创建。与动态高斯责任Motion4D[106]类似，本讨论最先分析了高斯基元在三维空间中的畅通与二维像素空间中的像素畅通(光流)之间的关系。通过对光流对都三维高斯畅通，GaussianFlow不错扫尾文本到4dgs和图像到4dgs的生成。但是，视频生成模子的不褂讪性影响了基于sds的视频生成的性能。

4DGen[107]通过为给定视频的每一帧引入多视图生成模子来创建伪标签，取代视频生成模子，处治了这个问题。为了确保时候一致性，4DGen行使来自Hexplane的多圭臬中间暗示[108]来经管高斯原语随时候的平滑性，进一步提高4DGS生成质地。相通，在相通的布景和实验栽培下，Fast4D[109]使用这些伪标签形成图像矩阵，并计议时候和空间维度(即行和列)的一语气性。行使图像矩阵动作监督，Fast4D提倡了一种新的随时候变化的3DGS暗示[110]，以扫尾高效和高质地的生成。

此外，一些讨论[111]侧重于对现存静态3DGS进行动画化。为了将输入视频中的现存3DGS动画化，BAGS[111]引入了神经骨骼和蒙皮权来描摹基于正则空间的空间变形。行使扩散模子先验和刚体经管，不错手动操作BAGS来扫尾新的姿态渲染。

4.3自动驾驶

在自动驾驶领域，3DGS主要应用于大限制驾驶场景的动态重构和组合SLAM应用。

4.3.1自动驾驶场景重构

驾驶场景重构是一项具有挑战性的任务，触及大限制场景重构、动态对象重构、静态对象重构、高斯搀杂重构等多个时刻领域。

大批文件[112]、[113]、[114]将重建过程分为静态布景重建和动态主见重建。

DrivingGaussian[112]旨在行使多传感器数据重建自动驾驶中的大限制动态场景。在静态布景下，DrivingGaussian在不同深度箱下引入增量静态三维高斯函数，以浮松边远街景变成的圭臬污辱。对于动态对象，驱动高斯引入动态高斯图来构造对象之间的关系多个主见(其属性包括位置、local-toworld坐标变换矩阵、标的等)，在静态布景下共同重构通盘自动驾驶场景。streetgauss[113]遴荐了类似的方法，要道的区别在于在重建布景和远景时引入了语义属性。此外，streetgauss使用傅里叶变换来灵验地暗示动态3DGS的SH时候变化。在前东说念主讨论的基础上，HUGS[114]结合了独轮车模子和正角速率建模，以协助在物理经管下进行动态重建。与之前的动态3DGS责任类似[106]，[115]，HUGS也遴荐光流监督，结合渲染RGB亏蚀、语义损结怨Unicycle Model亏蚀，从而提高动态重建精度。

此外，3DGS已被应用于多模态时空校准任务[116]。通过行使LiDAR点云动作高斯位置的参考，3DGS-Calib[116]构建了一语气的场景暗示，并在整个传感器之间实践几何和光度一致性，与基于nerf的方法比拟，权贵减少了磨真金不怕火时候，扫尾了准确和稳健的校准。

4.3.2同期定位与制图(SLAM)

SLAM是机器东说念主时刻和诡计机视觉中的一个基本问题，即开辟构建未知环境的舆图，同期敬佩其在该环境中的位置。SLAM的时刻方法大致可分为传统方法、触及NeRF的时刻和与3DGS干系的方法。其中，3DGS方法因其提供一语气名义建模、镌汰内存要求、改进噪声和格外值处理、增强孔填充和场景竖立以及3D网格重建中的生动分辨率而脱颖而出[117]。

一些讨论[118]、[119]、[120]、[121]、[122]保留了传统的SLAM输入，并从在线追踪和增量映射两个角度进行了讨论。在早期的讨论中，GS-SLAM[118]行使3DGS动作SLAM的场景暗示，并引入了自顺应扩展战略。该战略包括在磨真金不怕火阶段动态添加新的高斯原语，并说明拿获的深度和渲染的不透明度去除噪声原语，从而促进畅通时间的一语气场景重建。对于录像机追踪，GS-SLAM提倡了一种先进的从粗到精的优化战略。最先，渲染一组稀疏的像素来优化追踪亏蚀，并获取相机姿态的运行粗造算计。随后，基于这些粗相机位姿和深度不雅测，在三维空间中取舍可靠的高斯基元，在几何结构明确的重绘制区域率领GS-SLAM，进一步细化粗相机位姿。通盘过程使用再行渲染亏蚀进行监督。

Photo-SLAM[119]引入了一种新的SLAM框架，该框架具有超原语映射(Hyper Primitives Map)，它结合了ORB特征[123]和高斯属性。基于这种暗示，该框架行使LevenbergMarquardt (LM)算法[124]来优化投影关系的低化和几何映射。基于这些间隔，Photo-SLAM提倡了一种基于几何的渊博化战略和基于高斯金字塔的学习机制来构建传神的映射。终末，该框架集成了闭环[123]，以进一步校正相机姿态，提高映射质地。

Gaussian-SLAM[121]通过将舆图区别为多个子舆图，每个子舆图分别重建，从而浮松晦气性淡忘，处治了映射挑战。对于相机追踪，作家不雅察到追踪精度受到3DGS外推智力的放手，并建议结合DROID-SLAM的轨迹扶植[125]来增强重建。该责任[126]解析导出了与录像机位姿干系的雅可比矩阵，提倡了一种高效的录像机位姿优化战略。在映射阶段，作家算计帧到帧的共可见性，并遐想了一个要道帧取舍和管理机制，该机制优先计议具有低共可见性的帧动作要道帧。这保证了团结区域内非冗余要道帧的灵验行使，从而提高了映射效率。

在前东说念主责任的基础上，RGBD GS-ICP SLAM[127]将广义迭代最近点(Generalized Iterative nearest Point， G-ICP)[128]算法集成到映射和追踪中。通过分享G-ICP和3DGS之间的协方差以及遴荐圭臬对都时刻，这项责任最大限制地减少了冗余诡计并促进了快速拘谨。相通，Sun等东说念主[129]的责任也提倡了一种由孔洞和渲染舛讹指挥的渊博化战略，以绘制未不雅测区域并细化再行不雅测区域。此外，作家还遐想了一个新的正则化项来缓解晦气性淡忘的问题。

语义很障碍，因为它们不仅提供了场景默契，而且还褂讪了磨真金不怕火过程。SGS-SLAM[122]遴荐多通说念几何、外不雅和语义特征进行渲染和优化，并提倡了基于几何和语义经管的要道帧取舍战略，以提高性能和效率。此外，由于语义暗示的构建，SGS-SLAM好像剪辑对应于语义一致区域的3DGS。基于此，SEMGAUSS-SLAM[130]遐想了一个特征级的鲁棒性监督，并引入了一个基于特征的束诊治来浮松追踪过程中的积存漂移。后续作品NEDS-SLAM[131]也遴荐了这一办法，引入语义特征扶植SLAM优化，并结合DepthAnything[132]学习具有三维空间感知的语义丰富特征。此外，NEDS-SLAM还提倡了一种基于造谣多视图一致性查验的剪枝方法来识别和排斥格外值。

此外，也有一些讨论聚焦于干系问题，如定位[133]和导航[134]。3DGS- reloc[133]引入了激光雷达数据运行化来扶植3DGS制图。在此基础上，它建议将3DGS子舆图区别为2D体素舆图，并行使kd树进行灵验的空间查询，从而减少GPU内存的过度浮滥。终末，3DGS-ReLoc遴荐基于特征的匹配和视角-n-点(Perspective-n-Point， PnP)方法对查询图像的姿态进行迭代细化，在全局舆图中扫尾精敬佩位。

在室内导航的布景下，GaussNav[134]侧重于实例图像导航(IIN)任务。基于重建的3DGS舆图，GaussNav提倡了一种图像主见导航算法，通过分类、匹配和旅途贪图，取得了令东说念主印象真切的后果。

5 3d高斯飞溅的扩展

动作3D暗示的一项基本时刻，3DGS不错进一步扩展以获取更多功能，包括动态3DGS[图5(a)]、3DGS的名义暗示[图5(c)]、可剪辑3DGS[图5(b)]、具有语义默契的3DGS[图5(d)]和基于3DGS的物理模拟[图5(e)]。

图片

5.1动态三维高斯飞溅

动态3DGS的讨论最近引起了讨论东说念主员的极大关心。动态场景重建高出了静态场景重建的局限性，可灵验应用于东说念主体动作捕捉、自动驾驶仿真等领域。与静态3DGS不同，动态3DGS不仅要计议空间维度的一致性，还要计议时候维度的一致性，以确保随时候推移的一语气性和平滑性。在这里，咱们说明不同的重建输入将它们分为多视点视频和单视点视频。

5.1.1多视图视频

一些作品[135]、[140]尝试径直逐帧构建动态3DGS。

早期的责任[135]通过允许高斯函数随时候挪动和旋转，同期保持永久的属性(如格式、不透明度和大小)，将3DGS从静态场景扩展到动态场景。重构是暂时在线实践的，其中每个时候步都使用前一个时候步的暗示进走运行化。第一个时候步动作优化整个属性的运行化，然后在后续时候步中固定这些属性，除了那些界说畅通的属性。物理先验，包括局部刚度、局部旋转相似性和永久局部等距，使高斯函数的畅通和旋转正则化，如式5-7所示。讨论了布景信息相似、多视点录像机各异等成分对重建性能的影响。

类似地，3DGStream[140]为转型瞻望遐想了一个两阶段的磨真金不怕火过程。第一阶段，引入神经变换缓存和I-NGP[9]来重建动态3DGS。在第二阶段，3DGStream提倡了一种自顺应渊博化战略，通过诡计梯度运行化新的高斯位置。其他作品[141]，[142]旨在通过瞻望变形来扫尾这种性能。SWAGS[141]引入了基于窗口的4DGS，将视频采样到多个窗口中以扫尾永久的场景重建。为了保证每个窗口内的变形进程尽可能相似，引入了一种基于平均流量的自顺应窗口区别方法。然后使用动态MLP来指挥优化关心动态区域。在多个采样窗口瞻望的基础上，SWAGS提倡使用相邻窗口近似帧的一致性来遐想自监督亏蚀，微调通盘场景，从而排斥窗口区别的时候不一语气。

5.1.2单目视频

一些单目动态3DGS作品[106]、[143]、[144]、[145]、[146]倾向于分为典型重建和变形瞻望两个阶段。

该讨论[143]最先在范例空间中重构了静态3DGS。然后，它将编码的位置和时候t动作输入，说明位置、旋转和比例输出偏移量。为了浮松不准确姿势引起的过拟合问题，本讨论引入了一种退火平滑磨真金不怕火范式，该范式包含线性衰减高斯噪声。在此基础上，GauFRe[144]提倡了一种将动态和静态场景建模解耦的范式，其中动态部分使用了类似于[143]的方法。D-GS[145]引入了多圭臬HexPlane[108]动作编码时空信息的基础暗示。为了优化磨真金不怕火过程，4D-GS遴荐多头解码器分别瞻望高斯基元的不同属性。MDSplatting[146]也在此基础上结合了[135]中提倡的局部刚度损结怨等长亏蚀，并遐想了基于动量守恒定律的正则化项，使动态畅通轨迹愈加平滑。此外，作家在解码部分加入了暗影瞻望，进一步增强了重建的真实感。Guo等[106]通过分析三维高斯畅通与像素级流之间的对应关系，构建了一种流量增强方法，并引入了基于不敬佩性和动态感知的特殊光流监督。此外，它还提倡了一种基于速率场的畅通注入器和动态映射优化战略，以浮松与瞻望变形干系的挑战。而不是翻脸的偏移量，探索时候一语气畅通不错提高时候维度的平滑性。Katsumata等东说念主的责任[115]结合傅里叶近似随时候和光流监督来模拟3DGS的属性变化，确保一语气变化而不引入过多的参数。

DynMF[147]觉得，每个场景都由有限的固定数目的轨迹构成，并为空间畅通引入了灵验的基函数。基于这些基函数，DynMF遐想畅通整个来瞻望动态位置和旋转属性，并引入稀疏性和刚度等经管来进一步提高优化性能。类似地，STG[148]提倡使用时候干系的径向基函数来暗示不透明度属性，并使用参数化多项式来描摹高斯基元的畅通和旋转。此外，引入了一种新的与时候和视图干系的特征溅射范式来取代球面谐波的格式。

Gaussian-Flow[149]旨在通过分析多项式[147]、[148]和傅立叶级数拟合[115]的优弱点，开发一种好像拟合可变畅通的暗示。然后提倡了一种将两种方法相结合的模子，构建了双域变形瞻望模子。终末，引入了自顺适时候步长缩放战略和时候平滑和刚性亏蚀来增强磨真金不怕火的褂讪性和时候一语气性。

SC-GS[150]旨在基于稀疏戒指点压缩动态场景中的畅通暗示。通过瞻望戒指点、径向基函数(RBF)核和变换的位置，使用线性搀杂蒙皮(Linear Blend skin)诡计通盘动态场随时候的畅通[151]。基于该战略，SC-GS提倡了一种基于邻点RBF权重和梯度的戒指点自顺应剪枝克隆战略，该战略在3DGS剪辑中具有较强的适用性。

最近的作品[110]，[152]旨在将3DGS扩展到4D空间，以扫尾动态3D场景的暗示。责任[110]通过将时候维度直遴荐入三维暗示来扫尾端到端的磨真金不怕火。其中枢念念想是同期计议空间变量(XY Z)和时候变量(T)过火相互关系，而不是将它们视为寂寞变量。对于四维高斯基元，遐想了旋转矩阵R∈R4×4的四维暗示和比例因子S(四维对角线)，并行使四维球面谐波进一步描摹格式随时候的变化。相通，讨论[152]提倡了一种基于转子的四维高斯飞溅(4DGS)暗示，其中4DGS的旋转属性通过将四维转子判辨为八个组件来暗示。这些重量，连同相应的参数，被用来描摹时空中的旋转。在暗示动态3DGS时，它在不同的时候戳对4DGS进行切片，灵验地处治了高动态场景中物体的短暂出现或隐藏。此外，该方法通过引入四维一致性亏蚀来增强四维空间的一致性。

5.2曲面暗示

天然3DGS不错扫尾高度传神的渲染，但索要名义暗示仍然具有挑战性。经过优化过程后，得到的暗示时常艰巨有序结构，与践诺曲面不相相宜。但是，在许多责任经过中，基于网格的暗示仍然是首选，因为它们允许使用强盛的器具进行剪辑、雕饰、动画和重照明。

在曲面重建中，有标志距离函数(SDF)是一个不可衰败的课题。NeuSG[153]试图结伴优化NeuS[154]和3DGS，并引入了几个正则化术语，包括Scale regularization、Normal regularization和Eikonal regularization[155]，以确保3DGS尽可能平坦并沿主见名义分散。

SuGaR[156]行使3DGS名义性情来遐想盼望的SDF。然后使用这种盼望化的暗示来经管践诺瞻望的SDF过火法线，从而荧惑优化的高斯函数更紧密地与物体名义对都。然后，使用泊松重建，SuGaR从对都的3DGS中索要网格，这比Marching Cubes算法更快，更具可扩展性[157]。此外，一个可选的细化门径将新的高斯函数绑定到网格并结伴优化它们，从而扫尾高质地的渲染和名义。

然后，3DGSR[158]旨在通过遐想一个可微的SDF到不透明度的改造函数，将神经隐式SDF与3DGS相结合，使3DGS的优化好像更新SDF。为了处治用翻脸3DGS优化一语气SDF的挑战，3DGSR建议加强从体绘制获取的深度(法线)与从3DGS推断的深度(法线)之间的一致性。GSDF[159]相通引入了一致性经管，遴荐了基于Scaffold-GS[26]和news[154]的双流采集，将3DGS和神经隐式SDF结合在全部。为了提高SDF的采样效率，GSDF行使来自3DGS分支的深度图来率领射线采样过程，为了改善高斯基元在曲面上的分散，基于SDF分支遐想了一种几何感知的3DGS高斯密度戒指。

其他讨论[137]，[160]，[161]旨在通过增强3DGS的内在属性来处治这一问题。这项责任[160]引入了一种称为高斯冲浪的新暗示，它施展出增强的名义重建智力。在此基础上，提倡了一种深度法向一致性亏蚀来处治梯度隐藏问题，并提倡了一种体积切割战略往复除深度舛讹和不一语气区域中毋庸要的体素。终末，应用筛选泊松重建生成曲面网格。

高斯不透明度场(Gaussian Opacity Fields， GOF)[161]是基于3DGS开发的，其中3DGS沿后光归一化形成1DGS进行体绘制。GOF还包含深度失真和法向一致性亏蚀，便于从四面体网格中索要名义网格。类似地，2D高斯飞溅[137](2DGS)用平面磁盘代替3DGS来暗示在局部切平面内界说的名义。在绘制过程中，2DGS肃清了径直的仿射变换，使用三个非平行平面来界说射线片相交，然后在应用低通滤波器后进行光栅化。

5.3可剪辑的3D高斯飞溅

3DGS以其及时渲染、复杂场景再现、显式施展等上风，天然受到了关心3DGS剪辑的讨论者的粗鄙关心。不幸的是，面前可剪辑的3DGS作品时常艰巨精准的培训监督，对剪辑提倡了首要挑战。在本节中，咱们将说明不同的任务对现存作品进行分类。

5.3.1 文本操作

为了支吾这一挑战，弥漫之夜现存的作品不错分为两类。第一类引入分数蒸馏亏蚀，如式3所示。与AIGC 4.2不同，这些方法需要剪辑辅导动作附加条件来率领剪辑过程。

基于SDS， GaussianEditor[162]在3DGS剪辑中引入了语义戒指，扫尾了基于语义的追踪和剪辑区域的自动屏蔽。更障碍的是，这项责任提倡了一个分层的3DGS和多代锚点丢失，这褂讪了剪辑过程，浮松了SDS的随即性影响。此外，GaussianEditor还先容了2D绘制时刻，为对象删除和合并的任务提供率领。继Dreamgaussian[75]之后，GSEdit[163]使用预磨真金不怕火的Instruct-Pix2Pix[164]模子代替图像生成模子来诡计3DGS剪辑的分数蒸馏亏蚀。

第二种是在重建3DGS之前对多视图2D图像进行门径剪辑。GaussianEditor2[165]行使多模态模子、大型谈话模子和分割模子，从给定的文本描摹中瞻望可剪辑的区域。然后，基于二维剪辑模子剪辑的图像，优化主见区域内的干系高斯基元。但是，这种模式引入了一个直不雅的问题:如何确保多视图剪辑的一致性。GaussCtrl[166]引入了深度指挥的图像剪辑采集ControlNet[167]，行使其在剪辑采辘集感知几何体式和保持多视图一致性的智力。它还在收敛层引入了潜在代码对都战略，确保剪辑后的多视图图像与参考图像保持一致。该责任[136]旨在引入逆向渲染和三维潜在空间渲染，以保持收敛图上的一致性。引入了剪辑一致性模块和迭代优化战略，进一步增强了多视图一致性和剪辑智力。

与3DGS的剪辑方法不同，最近的讨论越来越多地聚首在剪辑4DGS上。最近的责任Control4D[168]通过引入4D高斯平面(4D GaussianPlanes)深入讨论了这一领域，该平面在结构上判辨4D空间，以确保Tensor4d在空间和时候维度上的一致性。基于高斯平面，遴荐超分辨率生成对抗采集遐想4D生成器[169]，从扩散模子生成的剪辑图像中学习高斯平面上的生成空间，并遴荐多阶段渐进式指挥机制，提高局部-全局质地

5.3.2其他条件操作

除了文本戒指剪辑以外，已有作品还探索了各式条件下的3DGS剪辑方法。TIP-Editor[170]需要提供剪辑文本、参考图像和剪辑位置来精细戒指3DGS。中枢时刻包括分别学习现存场景和新内容的分步2D个性化战略，以及精准呈现的粗精剪辑战略。这种方法允许用户实践各式剪辑任务，举例对象插入和方式化。Point 'n Move[171]要求用户为要剪辑的对象提供带注视的点。通过双阶段分割、再行绘制和重组门径，扫尾对象的可控剪辑(包括对移除区域进行再行绘制)。

5.3.3 Stylization

在3DGS的作风迁徙领域，早期的探索还是由[172]完成。与传统的作风迁徙作品相似[173]，本作品在渲染图像上遐想了2D的作风化模块，在3DGS上遐想了3D的颜色模块。通过对都两个模块的程式化2D间隔，这种方法在不改变几何体式的情况下扫尾了多视图一致的3DGS程式化

5.3.4动画

如5.1所述，一些动态3DGS作品，如SCGS[150]，不错通过对稀疏戒指点进行动画化来扫尾动画后果。aigc干系的作品，如BAGS[111]，旨在行使视频输入和生成模子来动画化现存的3DGS。在东说念主类重建的布景下也提到了类似的讨论。此外，CoGS[174]讨论了如何戒指这个动画。基于动态暗示[135]，[143]，它使用一个小的MLP索要干系的戒指信号，并对都每个高斯原语的变形。然后，CoGS为要剪辑的区域生成3D蒙版，以减少毋庸要的工件。

5.4语义默契

赋予3DGS语义默契智力，不错将2D语义模子扩展到3D空间，从而增强模子在3D环境中的默契智力。这不错应用于各式任务，如3D检测，分割和剪辑。

许多责任试图行使预磨真金不怕火的2D语义感知模子对语义属性进行特殊的监督。早期的责任Feature 3DGS[175]将预磨真金不怕火好的2D基础模子索要出来，共同构建3DGS和Feature field。通过引入并行特征栅格化战略和正则化，使3DGS具有空间默契智力，并好像为卑劣任务遐想辅导式显式场景暗示。随后，高斯分组[176]引入了高斯群的办法，并扩展了身份编码属性来扫尾高斯分组。这项责任提倡将多视图数据视为一个视图缓缓变化的视频序列，并行使预磨真金不怕火的主见追踪模子[177]来确保从SAM (Segment Anything)中获取的分割标签的多视图一致性[178]。此外，高斯群在2D和3D空间中都受到监督，并径直用于剪辑。类似地，这项责任[179]通过引入KNN聚类和高斯滤波来处治语义不准确问题，这不错经管摆布的高斯并列斥边远的高斯。cosseggaussian[180]行使事前磨真金不怕火的点云分割模子与双流相结合特征和会模块。该模块将来自2D编码器的未投影2D特征与来自3D编码器的3D特征结合起来，说明高斯位置的瞻望[15]。通过使用解码器和语义监督，cosseggaussian不错灵验地为高斯原语注入语义信息。

其他东说念主[138]，[181]，[182]则专注于将文本视觉对都功能整合到灵通寰球的默契中。一个障碍的挑战是CLIP特征的高维数，与原始高斯属性比拟，这使得径直磨真金不怕火和存储变得贫苦。该责任[138]通过从CLIP[183]和DINO[184]中索要和翻脸密集特征，将相应的一语气语义向量引入到3DGS中，这些密集特征用于通过mlp(如VQ-V AE[185])瞻望翻脸特征空间中的语义目的m。引入不敬佩性属性来描摹高斯基元的不褂讪性和频繁变化，遐想自顺应空间平滑亏蚀来特意镌汰镶嵌的紧凑语义特征的空间频率。LangSplat[181]使用经过磨真金不怕火的自动编码器压缩场景特定的CLIP特征，以减少磨真金不怕火内存需求。为了扫尾这一主见，LangSplat引入了分层语义——使用SAM构建的子部件、部件和举座[178]，它处治了跨多个语义级别的点歧义，并促进了对随性文本查询的场景默契。随后，FMGS[182]通过引入多分辨率哈希编码器[9]缓解了大CLIP特征维度的问题。

5.5物理模拟

最近的起劲旨在将3DGS扩展到仿真任务。基于“你所看到的即是你所模拟的”的理念，PhysGaussian[139]重建了一个静态的3DGS动作待模拟场景的翻脸化，然后结合一语气介质力学表面和物资点法(Material Point Method， MPM)[186]求解器赋予3DGS物理属性。为了褂讪基于旋转的变化外不雅并将颗粒填充到空闲里面区域，PhysGaussian提倡了一种不断发展的标的和里面填充战略

6时刻分类

3DGS大致不错分为如下几个阶段，如图3所示:运行化、属性优化、飞溅、正则化、磨真金不怕火战略、自顺应戒指、后处理。此外，一些同期进行的责任旨在纳入补充信息和暗示，从而增强3DGS的智力。这些时刻改进不仅提高了原始3DGS的渲染性能，而且还处治了生息作品中的特定任务。因此，本节深入探讨了3DGS的时刻朝上，旨在为干系领域的讨论东说念主员提供有价值的见识。

6.1运行化

正确的运行化已被讲明是至关障碍的，因为它径直影响优化过程[187]。3DGS的运行化平方使用从结构-从畅通(SfM)派生的稀疏点或通过随即实践。但是，这些方法时常是不可靠的，非常是在弱监督信号下，如稀疏视图栽培和生成任务。

组合预磨真金不怕火模子是一种可选的方法。在有限数目的3D样本上预磨真金不怕火3D模子并将其用作运行化先验是一种可行的战略[51]。这种方法不错在一定进程上提高运行化的性能，尽管其灵验性取决于所使用的数据。为了处治这一放手，还引入了预磨真金不怕火的3D生成模子[80]，[81]，[87]或单目深度算计模子[100]，[102]用于运行化目的。此外，一些作品[80]提倡引入新的摄动点以扫尾更全面的几何暗示。

改进运行化战略也很障碍。在分析SfM对频谱内低频信号拿获作用的基础上，遐想了稀疏大方差(SLV)运行化，灵验地关心SfM识别的低频分散[187]。行使其他暗示也不错增强运行化智力。通过从粗参数点模子中敬佩局部V体积，在每个体积内运行化小数高斯函数，从而幸免了对主见的过多假定[188]。随后，提倡了一种基于Visual Hull的运行化战略，好像从四幅图像中获取结构先验[57]。

讨论:精准的运行化有可能通过提高性能和确保褂讪的磨真金不怕火过程，使3DGS的各式生息作品受益。

6.2属性扩展

3DGS的原始属性包括位置、比例、旋转、球面谐波(SH)整个和不透明度值。一些作品扩展了这些属性，使它们更得当卑劣任务。可分为对已有属性的改进和引入新属性两种，如图6所示。

图片

6.2.1改进属性

高斯的某些属性不错定制，从而使3DGS适用于更粗鄙的任务。

圭臬:通过将z圭臬压缩为零，并结合对深度、法线或壳图的特殊监督，作品[32]、[73]、[137]、[156]、[160]旨在改进高斯原语，使其更平坦、更合适用于名义重建，从而减少高斯几何重建中的不准确性。z标的不错近似为法线标的。类似地，圭臬经管放手了长轴长度与短轴长度的比例[116]，[126]，[139]，确保高斯原语保持球形，以浮松由过细的内核引起的有时长毛绒工件的问题。

SH:通过将哈希网格与MLP相结合，对对应的格式属性进行编码，灵验处治了由于SH参数过多而导致的存储问题[23]。

不透明度:通过将透明度放手为接近0或1，从而最小化半透明高斯原语的数目，作品[37]，[156]扫尾了更表示的高斯名义，灵验地浮松了伪影。

高斯分散:通过引入体式参数，尝试用广义指数(GEF)搀杂物代替原始高斯分散[27]。传统3DGS不错看作是广义指数族(GEF)搀杂物(β = 2)的特殊情况，提高了高斯函数的暗示效率;

图片

6.2.2附加属性

通过添加新的属性和监督，不错增强3DGS原有的暗示智力。

语义属性:通过引入语义属性和相应的监督，增强了[113]、[114]、[122]、[130]、[131]、[175]等作品的空间语义毅力，这对SLAM和剪辑等任务至关障碍。在对语义属性进行飞溅处理之后，使用2D语义分割图对3DGS的语义属性进行监督。此外，改进索要语义信息的方法[171]和引入高维语义文本特征，如CLIP和DINO特征[138]、[181]、[182]，已被用于处治更粗鄙的卑劣任务。与语义属性类似，Identity Encoding属性不错对属于团结实例或素材的3DGS进行分组，对于多对象场景愈加灵验[176]。

属性分散:使用重参数化时刻学习分散式属性而不是固定值是注重3DGS局部最小值的灵验方法[84]，并浮松其对3DGS自顺应戒指的依赖[47]。这些责任除了关心位置属性的分散瞻望外，还纳入了圭臬属性的分散[84]。通过对瞻望的属性分散进行抽样，得到用于溅射的高斯基元。

时候属性:用时候属性替换正本的静态属性是3DGS动画化的要道[109]，[110]，[113]，[152]。对于4D属性，包括旋转、比例和位置，现存的作品通过在特定时候点取时候片[152]或将t维与4D属性解耦[109]，[110]来在时候步t上渲染3DGS。此外，4D SH的引入对于时变格式属性至关障碍。为此，现存文件中一般遴荐傅里叶级数动作所遴荐的基函数，赋予SH时候智力[110]，[113]。请收敛，由于触及不同的时候步长，这些属性平方需要基于视频的培训。

位移属性:位移属性是必不可少的，因为它们描摹了高斯基元的最终位置和运行位置之间的关系。这些属性不错说明它们对时候的依赖性进行分类。平方使用与时候无关的位移属性来校正粗造的位置属性，不错像其他属性一样径直进行优化[46]，[63]。随时候变化的位移属性不错描摹静态3DGS的位置变化，从而扫尾动态暗示。这种方法平方触及引入一个微型MLP来基于时候步长t[143]、[144]、[145]和其他戒指信号[174]来瞻望位移。

物理属性:物理属性包含了粗鄙的潜在属性，这些属性描摹了戒指高斯原语的客不雅物理规矩，从而赋予了3DGS更真实的暗示。举例，不错行使漫反射色、径直镜面反射色、残余色、各向异性球面高斯等与暗影干系的属性进行镜面重建[37]、[38]、[39]。此外，引入暗影标量来暗示暗影[146]，并遴荐速率来暗示高斯原语的瞬态信息，这对于描摹动态性情至关障碍[106]。这些属性平方通过计议特定渲染位置的物理属性的影响来更新[37]，[39]，[146]或通过合并补充监督信息，如经过图[106]。

翻脸属性:行使翻脸属性代替一语气属性是压缩高维暗示或暗示复杂畅通的灵验方法。这平方是通过将VQ码本的索引值[17]、[18]、[19]、[23]或畅通基的畅通整个[147]存储为高斯基元的翻脸属性来扫尾的。但是，翻脸属性可能导致性能下跌;将它们与压缩的一语气属性结合起来可能是一种潜在的处治有规划[138]。

推断属性:这种类型的属性不需要优化;它们是从其他属性中推断出来的，并用于卑劣任务。参数敏锐性属性响应了参数变化对重构性能的影响。它由参数的梯度暗示，用于率领压缩聚类[19]。Pixel-Coverage属性决定现时分辨率下高斯原语的相对大小。它与高斯原语的水平或垂直大小联系，用于指挥高斯的圭臬以满足多圭臬渲染的采样要求[34]。

权重属性:权重属性依赖于结构化暗示，如Local V volumes[188]、Gaussiankernel RBF[150]和SMPL[189]，它们通过诡计干系点的权重来敬佩查询点的属性。

其他属性:不敬佩性属性不错通过减少高不敬佩性区域的减重来匡助保持磨真金不怕火的褂讪性[55]，[138]。何况，从图像帧中索要的ORBFeatures属性[123]在建立2D-to-2D和2D-to-3D对应关系中起着至关障碍的作用[119]。

讨论:高斯属性的修改简化了更粗鄙的卑劣任务的实践，提供了一种灵验的方法，因为它不需要特殊的结构元素。此外，新的高斯属性与补充信息经管的集成也有可能权贵增强原始3DGS的暗示后果。举例，在某些情况下，语义属性不错产生更精准的对象范围。

6.3抛雪球算法

Splatting的作用是将三维高斯数据高效地升沉为高质地的二维图像，保证投影平滑、一语气，权贵提高渲染效率。动作传统诡计机图形学的中枢时刻，也有东说念主从效率和性能的角度对其进行改进[137]。

TRIPS[191]在3DGS中引入了用于及时渲染的ADOP[12]，行使屏幕空间图像金字塔进行点光栅化，并使用三线写入来渲染大点。这种方法结合了前后alpha搀杂和用于细节重建的轻量级神经采集，确保了表示、完好和无笔名的图像。这项责任[190]敬佩了先前哨法[15]的局限性，这些方法在投影过程中使用局部仿射近似，导致对渲染质地无益的舛讹。通过分析一阶泰勒张开的残差，他们建立了这些舛讹与高斯平均位置之间的干系性。在此基础上，将谐和的投影平面替换为切平面，通过基于单元球面的光栅化器(Unit Sphere Based Rasterizer)浮松原始3DGS的投影舛讹，如图7所示。在第5.2节先容的2D-GS[137]中也提到了类似的问题。

图片

6.4正规化

正则化是三维重建的要道。但是，由于艰巨来自3D数据的径直监督，原始3DGS通过将渲染图像与真实图像进行比较来监督其磨真金不怕火。这种形势的监督可能导致磨真金不怕火不褂讪，非常是在不敬佩的场景中，举例那些具有稀疏视图栽培的场景。在本节中，咱们将正则化项分为2D和3D正则化项，如图8所示。3D正则化主要径直为3DGS提供经管，而2D正则化条件则施加经管对渲染图像的经管，从而影响属性的优化。

图片

6.4.1 3D正则化

三维正则化由于其直不雅的经管智力而引起了东说念主们的极大关心。这些起劲不错说明其主见主见分为单个高斯原语、局部正则化和全局正则化。

单个高斯原语正则化:这种正则化主如果为了改进高斯原语的某些属性[32]，[78]，[126]，[139]，如第6.2节所述。

局部正则化:由于3DGS的显式暗示，在局部区域内对高斯原语施加经管是特意旨的。这种经管不错保证高斯基元在局部空间的一语气性。为了保证可变形主见的局部刚度，平方遴荐物理正则化方法，包括短期局部刚度亏蚀、局部旋转相似损结怨永久局部等距亏蚀。短期局部刚性意味着摆布的高斯函数应该跟着刚体在时候步间的变换而挪动，

图片

其中µ为高斯平均位置，i和j为相邻点的索引，t为时候步长，R暗示旋转;局部旋转相似性强制相邻的高斯基元随时候步长具有相通的旋转，

图片

其中，- q是每个高斯旋转的归一化四元数暗示;永久的局部等距亏蚀不错注重场景元素漂移，

图片

[103]，[104]，[135]，[146]，[147]，[150]，[174]，[188]。随后，一些作品也遴荐了类似的范式来经管局部刚度[111]，[149]。

除了刚度亏蚀外，动量正则化守恒也不错动作动态场景重建的经管。它荧惑一个恒定的速率矢量，并对3D轨迹应用低通滤波后果，从而平滑短暂变化的轨迹[146]。此外，还有一些局部一致性正则化术语也旨在经管局部区域内的高斯原语以保持相似的属性，如语义属性[138]、[176]、[179]、位置[98]、[107]、时候[149]、帧[141]、法线[192]和深度[52]。

全局正则化:与相邻区域的局部正则化不同，全局正则化旨在经管举座3DGS。物理干系的正则化引入了现实寰球的物理特征来经管3DGS的情状，包括重力损结怨构兵亏蚀等。重力损耗用于经管物体与大地之间的关系，而构兵损耗用于经管多个物体之间的关系[98]。

受益于3DGS的显式暗示，不错径直获取深度和法线标的属性，这些属性不错在磨真金不怕火过程中动作经管，非常是在名义重建任务中。深度正态正则化通过比较深度值诡计的正态与瞻望的正态[37]、[158]、[160]、[161]来扫尾深度正态一致性。这种方法灵验地同期对法线和深度进行经管。此外，径直经管法向或深度亦然可行的。由于艰巨径直监督信号，正态正则化平方遴荐自监督范式，可通过遐想来自梯度[153]、高斯基元的最短轴标的[37]或SDF[158]、[159]的伪标签来扫尾。类似地，深度正则化也遴荐类似的方法;但是，它不仅旨在精准的深度值，而且还寻求确保在3DGS中表示的名义。深度失真亏蚀[8]沿射线蚁集高斯基元

图片

式中，z为高斯的交点深度[137]，[161]。除了自监督方法外，结合特殊的预磨真金不怕火模子来算计正态[160]和深度[38]，[54]，[56]，[193]已被讲明在normal Regularization和depth Regularization中更灵验。在此基础上，生息作品引入硬深度和软深度正则化来处治几何退化问题，获取更完好的曲面[56]。一个类似的正则化术语是SDF正则化，这也曲直面重建的一种经管战略。它通过将3DGS对应的SDF经管为盼望分散[153]，[156]，[158]，[159]，[194]来获取所需的曲面。

6.4.2二维正则化

与3D正则化的直不雅经管不同，2D正则化平方用于处治原始亏蚀函数自身不及的经管情况。

SDS亏蚀:一个障碍的例子是SDS亏蚀，如式3所示，它行使预磨真金不怕火的2D扩散模子来监督通过蒸馏范式进行的3DGS磨真金不怕火[75]，[162]。该方法还被扩展到索要预磨真金不怕火的3D扩散模子[82]、多视图扩散模子[195]、图像剪辑模子[164]和视频扩散模子。其中，引入三维扩散模子[80]、[196]和多视图扩散模子[76]、[77]、[78]、[103]、[104]、[107]不错优化显式几何的重建和多视图一致性。图像剪辑模子[163]不错扫尾可控剪辑，视频扩散模子[103]不错使用视频SDS进行动态时候场景生成。基于这一范式，其他模态图像的提真金不怕火也具有后劲，因为它不错提供来自相应预磨真金不怕火扩散模子的更多经管，举例RGB-Depth[74]，其中遐想者需要讨论如何构建扩散模子。

一些改进专门针对SDS的固有问题[85]，[89]。区间分数匹配是为了处治随即和单步抽样的问题而提倡的。

图片

其中s = t - δT， δT暗示小步长[85]。引入抵赖辅导[197]亦然一种方法[74]

流亏蚀:流亏蚀是动态3DGS常用的正则化术语。使用预磨真金不怕火的二维光流算计模子的输出动作真值，它不错通过诡计单元时候内高斯基元的位移并将这些3D位移溅射到二维平面上来呈现瞻望的流量[104]，[114]，[115]。但是，这种方法有很大的差距，主如果因为光流是二维平面属性，容易受到噪声的影响。取舍空间深度正确的高斯基元，通过KL散度引入不敬佩性经管光流是一种潜在可行的方法[106]。

其他亏蚀:还有一些2D正则化术语值得讨论。举例，在频域放手渲染图像与大地真实值之间的幅度和相位各异不错动作一种亏蚀函数来扶植磨真金不怕火，从而缓解过拟合问题[33]。通过噪声扰动为假定视点引入伪标签有助于稀疏视图栽培下的磨真金不怕火[54]。在大限制场景映射中，经管优化前后属性的变化不错注重3DGS上的晦气性淡忘[129]。此外，束平差平方是位姿算计问题中的一个障碍经管[118]，[119]，[130]。

值得收敛的是，岂论是使用2D照旧3D正则化，由于3DGS中大批的原语，举座优化有时不是最优的。一些原语平方会对间隔产生无法戒指的影响。因此，有必要通过使用可视性[120]、[122]、[131]、[134]等方法取舍障碍的高斯原语来率领优化。

讨论:对于特定的任务，平方不错引入各式经管，包括2D和3D正则化术语，其中许多正则化术语是即插即用的，不错径直提高性能。

6.5磨真金不怕火战略

磨真金不怕火战略亦然一个障碍的课题。在本节中，咱们将其分为多阶段磨真金不怕火战略和端到端磨真金不怕火战略，不错应用于不同的任务。

6.5.1多阶段磨真金不怕火战略

多阶段磨真金不怕火战略是一种常见的磨真金不怕火范式，平方触及从粗到精的重构。粗鄙应用于欠敬佩任务，如AIGC、动态3DGS构建、SLAM等。在不同的磨真金不怕火阶段使用不同的三维暗示是多阶段磨真金不怕火的典型范例之一。

3DGS→Mesh(第一阶段磨真金不怕火3DGS，将暗示改造为Mesh，第二阶段优化Mesh)[75]、[76]、[77]、[92]、[163]、[196]是保证生成的3D模子几何一致性的灵验方法。此外，在第一阶段生成多视图图像[91]，[96]，[109]，[136]，[165]，[166]，[196]，而不是在3D暗示之间进行改造，第二阶段的纠正也不错提高质地。

静态重建和动态重建两阶段重建在动态3DGS中也很障碍。这类责任平方包括在第一阶段磨真金不怕火一个与时候无关的静态3DGS，然后在第二阶段磨真金不怕火一个与时候干系的变形场来表征动态高斯[115]、[143]、[144]、[145]、[146]、[168]。此外，逐帧增量重建动态场景亦然一些讨论的要点，平方依赖于之前重建的施展[135]，[140]。

在多主见优化任务中，多阶段磨真金不怕火模式不错提高磨真金不怕火的褂讪性和性能。举例，从粗到精的录像机追踪战略是一种常用的方法，它最先通过稀疏的像素集获取粗录像机姿态，然后说明优化的渲染间隔进一步细化算计的录像机姿态[118]，[133]。

此外，一些作品旨在改进在第一阶段磨真金不怕火的3DGS[51]，[57]，[80]，[87]，[170]，[179]，[188]或赋予它们特殊的智力，如语义[134]，[180]和作风化[172]。这么的磨真金不怕火战略有好多，亦然保持磨真金不怕火褂讪性和幸免局部最优的灵验技巧[24]。此外，对最终间隔进行迭代优化以提高性能亦然可行的[136]。

6.5.2端到端磨真金不怕火战略

端到端磨真金不怕火战略平方更灵验，不错应用于更粗鄙的卑劣任务。一些典型作品如图9所示。

图片

渐进式优化战略:这是一种常用的战略，不错匡助3DGS在局部优化细节之前优先学习全局暗示。在频域，这个过程也不错看作是一个从低频到高频的渐进学习过程。平方通过缓缓增多高频信号的比例[33]，[187]或缓缓引入更大的图像/特征尺寸进行监督[17]，[39]，[119]来扫尾，这也不错提高效率[116]。在生成任务中，渐进式取舍相机姿势亦然一种易、难的磨真金不怕火战略从围聚运行视点的位置缓缓优化到较远的位置[77]，[102]。

块优化战略:该战略常用于大限制场景重建，不仅不错提高效率，还不错缓解晦气性淡忘问题[121]，[133]，[134]。相通，它不错通过将场景区别为静态布景和动态对象来扫尾重建[112]，[113]，[114]，[144]。此外，这种方法也应用于AIGC和Semantic Understanding，其中细化子舆图的重建质地不错提高举座性能[87]，[181]。与按空间区域区别的子映射不同，高斯原语不错被区别为不同的代过火渊博化过程，允许对每代应用不同的正则化战略，这是诊治不同代流动性的灵验战略[162]。将运行点分为光滑名义上的点和寂寞点亦然一种可行的战略。通过为每个类别遐想不同的运行化和渊博化战略，不错获取更好的几何暗示[192]。此外，一些讨论旨在遐想基于帧间共可见度或时候数据的几何近似率的要道帧(或窗口)取舍战略，并将其用于重建[118]、[120]、[122]、[126]、[129]、[141]。

鲁棒优化战略:在磨真金不怕火过程中引入噪声扰动是增强磨真金不怕火过程鲁棒性的常用方法[57]，[92]，[143]。这么的扰动不错针对相机姿势、时候步长和图像，何况不错被视为一种注重过拟合的数据增强形势。此外，一些磨真金不怕火战略旨在通过幸免从单一视点进行一语气磨真金不怕火来浮松过拟合和晦气性淡忘[121]，[127]。

基于蒸馏的战略:为了压缩模子参数，一些蒸馏战略使用原始3DGS动作西宾模子，使用低维SH 3DGS动作学生模子。通过引入更多的伪视图，他们旨在提落魄维SH的暗示性能[24]。

讨论:改进磨真金不怕火战略是优化3DGS磨真金不怕火过程的灵验阶梯，不错提高许多任务的性能。非常是端到端磨真金不怕火战略，不错在确保效率的同期提高性能

6.6自顺应戒指

3DGS的自顺应戒指是诊治高斯基元数目的障碍过程，包括克隆、分裂和剪枝。在接下来的章节中，咱们将从渊博化(克隆和分裂)和修剪的角度总结现存的时刻。

6.6.1渊博化

渊博化是至关障碍的，非常是对于细节重建。在这一节中，咱们将从“在那里密度”和“如何密度”的角度来分析它。此外，咱们将讨论如何幸免过度渊博化。

在那里进行渊博化:渊博化时刻平方聚首于识别需要渊博化的位置，该过程由原始3DGS中的梯度戒指，也不错扩展到动态场景中新主见的重建[140]。随后，不透明度或轮廓低、深度渲染舛讹大的区域被视为不可靠区域，也被觉得是指挥渊博化的障碍成分[32]、[118]、[129]、[134]、[148]、[160]，这些区域平方用于填充孔或改善3D不一致的区域。一些责任连接关心基于梯度的改进，其中将不同视图中每个高斯隐私的像素数视为权重，以动态平均这些视图的梯度，从而改善点云滋长的条件[198]。此外，SDF值和相近距离亦然障碍的判据，离地表越近、密实度越低的位置越容易渊博化[80]、[156]、[159]。

如何渊博化:许多责任改进了渊博化方法。图结构用于探索节点之间的关系，并说明接近度评分在边际中心界说新的高斯值，从而浮松稀疏视点的影响[54]。为了注重高斯数目的过度增长，候选池战略被遐想为存储经过修剪的高斯以进行渊博化[94]。此外，work[199]引入了三个守恒规矩以确保视觉一致性，并使用积分张量方程来模拟渊博化。

过度渊博化亦然毋庸要的，因为它会径直影响3DGS的效率。在两个高斯函数相配接近的情况下，放手它们的渊博化是一个简易的想法，其中高斯函数之间的距离不错通过高斯发散权贵性[96](GDS)或kullbackleibler散度[62]来测量，其中µ1，Σ1，µ2，Σ2属于两个相邻的高斯函数。

图片

DeblurGS[42]遴荐高斯渊博化退火战略，以注重在不精准的相机畅通算计的早期磨真金不怕火阶段不准确的高斯密度化。此外，在一些卑劣任务中，有时会肃清渊博化，以注重3DGS对每个图像过度拟合，从而导致不正确的几何体式[116]，[118]，[120]，[126]。

6.6.2修剪

去除不障碍的高斯原语不错确保灵验的暗示。在当先的3DGS框架中，不透明度被用作敬佩高斯权贵性的程序。随后的讨论探索了将圭臬动作修剪的率领成分[74]。但是，这些方法主要关心单个高斯原语，艰巨对全局暗示的全面计议。因此，后续的生息时刻还是处治了这个问题。

障碍性分数:磨真金不怕火视图上的数目和掷中数不错与不透明度全部引入共同敬佩高斯原语的全局权贵性得分[24]。

图片

其中γ(Σj)和1(G(Xj)， ri)是体积和掷中数，M是磨真金不怕火视图的个数随后，说明高斯函数的全局权贵性得分对其进行排序，并对得分最低的高斯函数进行修剪。类似的障碍性分数在其他作品中也有提高[200]，[201]。

多视图一致性:多视图一致性是决定高斯是否需要修剪的要道程序。举例，work[126]对一个局部要道帧窗口内未被三个要道帧不雅察到的新添加的高斯函数进行了剪枝，而work[131]对整个造谣视图中不可见但在真实视图中可见的高斯函数进行了剪枝。

距离度量:一些名义感知方法平方引入到名义的距离[118]和SDF值[159]，修剪远隔名义的高斯原语。高斯函数之间的距离亦然一个障碍的度量。GauHuman[62]旨在“合并”小圭臬和低KL散度的高斯函数，如Eq. 10所述。

可学习的戒指参数:引入基于比例和不透明度的可学习掩模来敬佩是否需要移除主见高斯基元，亦然注重3DGS过于密集的灵验方法[23]。

6.7后处理

预磨真金不怕火高斯函数的后处理战略相配障碍，因为它们不错提高3DGS的原始效率和性能。常见的后处理平方通过不同的优化战略来改进高斯暗示。这类责任已在第6.5节中讨论过。

暗示改造:通过对采样的3D点[156]，[160]引入泊松重构[202]，不错将预磨真金不怕火好的3DGS径直改造为Mesh。类似地，高斯不透明度域(Gaussian Opacity Fields， GOF)[161]引入3D范围框，将预磨真金不怕火好的3DGS改造为四面体网格暗示，然后使用水平集二分搜索(Binary Search of Level Set)从中索要三角形网格。此外，LGM[92]最先将预磨真金不怕火的3DGS改造为NeRF暗示，然后使用NeRF2Mesh[203]将其改造为Mesh。

性能和效率:一些作品旨在通事后期处理来提高3DGS在某些任务中的性能，举例多圭臬渲染。SA-GS[36]在预磨真金不怕火3DGS的基础上，引入了一种2D圭臬自顺应滤波器，该滤波器不错说明测试频率动态诊治圭臬，以增强缩小时的抗混叠性能。在效率方面，从预磨真金不怕火的3DGS中去除冗余的高斯原语[29]或引入高斯缓存机制[204]不错灵验提高渲染效率

6.8与其他暗示的集成

3D暗示的可改造性情便于将3DGS与其他暗示集成。这类作品平方行使其他施展形势的上风来改进原始3DGS。

6.8.1点云

点云动作一种与3DGS干系的3D暗示形势，平方用于运行化其属性。将点云端示改造为3DGS不错灵验地填补点云的笼统[100]，[102]，这平方是在对点云进行高精度重建后完成的。反过来，也不错将3DGS改造为点云，然后将点云体素化为3D体素，然后将其投影到2D BEV网格上，这是导航任务的障碍指南[134]。此外，空间中的锚点不错扶植3DGS。这些方法使用体素的中心动作锚点来暗示场景。每个锚点包括一个局部落魄文特征、一个缩放因子和多个可学习的偏移量。通过解码基于这些偏移量和特征的其他属性，锚点被改造成局部神经高斯分散。这个想法有助于浮松3DGS的冗余扩展[26]，[39]，[159]。

6.8.2 Mesh

网格具有更好的几何暗示智力，不错在一定进程上缓解3DGS带来的伪影或费解像素[142]。它们仍然是卑劣任务中最粗鄙使用的3D暗示[92]。大批的责任讨论了如何将3DGS改造为Mesh，如第5.2节所述。一朝改造，它们不错进一步优化，以获取更好的几何和外不雅[64]，[75]，[76]，[163]。结伴优化3DGS和Mesh亦然一种可选战略。DGS适用于构造复杂的几何结构，而Mesh可用于重建光滑名义上的详备格式外不雅。两者结合不错提高重构性能[142]。

6.8.3 Triplane

三平面以其紧凑性和高效的抒发性而著称[50]，不错觉得是一种编码暗示。由于这些特质，三平面常常用于与泛化干系的任务。具体来说，三平面由三个正交的特征平面构成:X-Y平面、Y -Z平面和X-Z平面。不错通过调查空间中的位置获取特征，然后对这些特征进行解码以瞻望高斯属性[50]，[51]，[60]，[93]。

随后的讨论[107]、[145]、[168]试图通过引入多圭臬的hexes[108]或4D GaussianPlanes[168]将三平面扩展到四维空间(XY Z-T)，以增强4DGS在时空维度上的一语气性，如图10(a)所示。

图片

6.8.4 Grid

网格亦然一种灵验的暗示，因为它不错调查网格角并插值以获取特定位置的特征或属性。哈希网格[9]动作一种代表性的方法，好像对场景进行压缩，得到愈加紧凑高效的3DGS[23]、[63]、[116]、[172]、[182]。此外，自组织高斯[25]将原始的非结构化三维高斯映射到二维网格上，以保持局部空间关系，其中相邻的高斯将具有相似的属性值，从而减少场景的内存存储并保持3D空间的一语气性，如图10(b)所示。

6.8.5隐式暗示

隐式暗示成绩于其暗示智力，可用于浮松3DGS的条件难度和名义伪影[72]。具体来说，引入NeRF对格式和不透明度进行编码不错权贵增强暗示的可诊治性[205]。此外，通过遐想SDF-to-opacity改造函数[158]或遴荐互几何监督[159]来结伴优化3DGS和SDF暗示，不错提高3DGS的名义重建性能。

6.8.6 GaussianVolumes

高斯体积也用于一般化暗示[94]，其中体积由固定数目的3DGS构成。与广义三平面暗示比拟，这种暗示保持了高斯暗示的效率，同期提供了更大的可操作性，并浮松了对点云瞻望准确性的依赖。

讨论:说明不同的需求，不错引入不同的暗示形势。但是，不同暗示之间的灵验改造是很障碍的。

6.9 Guidance by Additional Prior

在处理欠敬佩问题时，举例稀疏视图栽培3.3.1，引入特殊的先验是提高3DGS性能的一种径直方法。

预磨真金不怕火模子:引入预磨真金不怕火模子是一种灵验的范例，不错通过模子的学问率领优化。预磨真金不怕火的单目深度模子和点云瞻望模子是一种常见的先验类型，其中瞻望的深度值和位置可用于运行化和正则化[52]，[54]，[55]，[100]，[102]，[131]。预磨真金不怕火的2D图像(或3D和视频)生成模子在一些aigated任务中也很障碍。它们不仅不错结合SDS Loss进行优化[80]、[103]、[196]，还不错径直生成(或剪辑)用于磨真金不怕火的图像[91]、[100]、[102]、[109]。相通，一些作品引入了预磨真金不怕火的图像绘制采集来缓解讳饰和近似带来的贫苦[77]、[100]、[102]、[162]、[171]，或者在生成过程中引入超分辨率模子来获取高水平的细节[102]、[168]。此外，预磨真金不怕火的ControlNet[167]或大型谈话模子也可用于率领3D生成。前者不错增强深度指挥下的几何一致性[77]，[78]，[166]，后者不错瞻望布局图，率领多主见三维生成场景下的空间关系[78]。值得收敛的是，某些预磨真金不怕火模子不错赋予3DGS特殊的功能，如第5.4节讨论的语义默契模子和空间默契模子[131]。

更多传感器:由于2D图像的3d不可知性，重建3d图像可能具有挑战性，非常是在SLAM和自动驾驶等大限制重建中。因此，结合特殊的3D深度信息传感器，包括深度传感器[121]、[127]、[129]、[130]、[131]、激光雷达[112]、[116]、[133]和光学触觉传感器[55]，有可能缓解这一问题。

特定任务先验:一些重建任务，如东说念主体重建，主见对象具有一定的共同特征。这些特征，如模板模子和线性搀杂蒙皮，不错动作先验索要，以率领相似主见的重建。在非刚性物体的重建、动画和生成中，许多作品行使SMPL[66]和SMAL[206]为东说念主类[58]、[60]、[62]、[63]、[74]和动物[111]、[189]等非刚性物体的畅通和变形提供了强先验。随后，在SMPL模板的基础上，还结合3DGS引入了Shell Maps[95]和模板网格，以处治3DGAN效率低[73]和几何体式不表示[64]，[65]的问题。相通，在头部和面部重建和动画任务中，一些作品[68]，[70]也使用FLAME模子[69]动作先验。线性搀杂蒙皮[151]也被用作先验学问来匡助瞻望3DGS畅通[70]，[150]。此外，在3D城市集景重建任务中，HUGS[114]引入了独轮车模子(Unicycle Model)对动态车辆的畅通进行建模，从而使畅通物体的畅通建模愈加流通。

7 .相互关系和挑战

如前边第3节所述。在第4节和第5节中，有大批的讨论聚首在3DGS的优化、应用和扩展上。但是，这些讨论时常使问题过于复杂化。在本节中，咱们旨在总结不同任务之间的共性，并提倡四个中枢挑战以及相应的时刻讨论，如表2所示。知道到这些共同的挑战和处治有规划不错简化讨论责任，促进跨学科的朝上。

图片

7.1次优数据挑战

在现实场景中，收罗大批高质地的磨真金不怕火数据平方是不切践诺的。一方面，在莫得获取三维数据和富饶多的多视点图像的情况下，只是依靠有限数目的二维图像监督是不及以扫尾精准的3DGS重建的。举例，唯有一个主见的正面图像，推断后面的外不雅口舌常具有挑战性的。另一方面，数据质地也相通障碍;准确的姿态和表示的图像径直影响重建性能。

这些问题在多个任务中进行了讨论，举例稀疏视图栽培(第3.3.1节)，自动驾驶(第4.3节)，动态3DGS(第5.1节)(单目视频)，AIGC(第4.2节)和可剪辑3DGS(第5.3节)。许多责任还是讨论了如何改进运行化(第6.1节)、正则化(第6.4节)、自顺应戒指(第6.6节)和磨真金不怕火战略(第6.5节)，或者在稀疏或缺失多视图磨真金不怕火图像的布景下引入特殊的先验(第6.9节)。此外，衰败准确姿态的重建也不错被觉得是一个不敬佩的问题。SLAM文件(第4.3.2节)和费解图像下的重建(第3.2节)或莫得姿势的重建[207]，[208]中对此进行了讨论，其中常常引入新的磨真金不怕火战略(第6.5节)和其他暗示(第6.8节)来缓解它。

7.2泛化挑战

尽管与NeRF比拟，磨真金不怕火效率有所提高，但特定场景的磨真金不怕火范式仍然是3DGS应用的主要瓶颈。很难想象为每个主见或场景单独磨真金不怕火，非常是在多主见重建和文本到场景生成中。咱们发现这个问题在泛化栽培(第3.3.1节)和一些与东说念主类重建(第4.1节)和AIGC(第4.2节)中的泛化干系任务中常常被讨论。这些责任旨在使用前馈采集径直推断新的场景。因此，他们施展出历害的时刻相似性，举例三平面的引入。具体的改进战略在运行化(第6.1节)、自顺应戒指(第6.6节)和与其他暗示的集成(第6.8节)中进行了粗鄙的分析。

7.3物理挑战

传统3DGS只计议静态渲染，忽略了物理畅通规矩，而物理畅通规矩在模拟中很障碍[139]。此外，基于物理的渲染是应用3DGS模拟物理寰球的障碍一步。由于明确的暗示，不错构建相宜物理定律的3DGS。

这个问题平方在动态3DGS (Sec.5.1)，物理模拟(Sec.5.5)，动画(Sec.5.3.4)和一些动态东说念主体重建(Sec.4.1)或自动驾驶场景重建(Sec.4.3.1)中讨论。这些讨论聚首在高斯原语应该如安在物理寰球中挪动，何况在Photorealism中先容了基于物理的渲染(Sec.3.2)。从时刻角度来看，自3DGS讨论的早期阶段以来，许多责任都处治了这个问题，平方聚首在属性扩展(第6.2节)、正则化战略(第6.4节)和特殊先验的扶植(第6.9节)。

7.4真实性和效率挑战

真实性和效率挑战是根蒂问题。它们在各式作品中进行了调查，并在第3节中进行了讨论。在本节中，咱们将讨论一些典型的干系任务，并总结它们的常用时刻。对于真实性的挑战，现存的责任不仅讨论了真实感(Sec.3.2)，名义重建(Sec.5.2)和语义默契(Sec.5.4)，而且还在aigc干系(Sec.4.2)和自动驾驶(Sec.4.3)讨论中处治了这个问题。(第6节)中提到的大多数时刻都有助于提高渲染性能。不同的任务遴荐不同的方法。举例，与aigc干系的责任(第4.2节)平方侧重于改进磨真金不怕火战略(第6.5节)和正则化(第6.4节)，而名义重建责任(第5.2节)与后处理模范(第6.7节)联系。

对于效率挑战(第3.1节)，它们在一些生息任务中提到，举例与自动驾驶(4.3节)和语义默契(5.4节)。现存的改进平方聚首在引入特殊的属性(第6.2节)或后处理(第6.7节)，以及改进自顺应戒指(第6.6节)和飞溅(第6.3节)战略。

此外，不同领域之间还有一些莫得提到的关系。举例，名义重建时刻(第5.2节)常常在可剪辑3DGS(第5.3节)的落魄文中被援用，等等。

8契机

3DGS最近履历了首要的发展，大批的责任展示了它在干系任务中的后劲。在本节中，咱们讨论了上述中枢挑战中尚未处治的问题，并提倡了畴昔讨论的潜在标的。此外，咱们还讨论了一些应用模范和时刻的扩展。

8.1磨真金不怕火数据次优

一个盼望的3DGS磨真金不怕火过程需要富饶的和高质地的数据，但在践诺应用中，这时常是过于具有挑战性的。天然专注于引入先验不错在一定进程上缓解问题，但在低经管条件下优化大批高斯函数仍然存在固有的贫苦。因此，一个潜在的处治有规划是说明高斯原语的不敬佩性减少其数目，同期增强单个原语的暗示智力[27]。这触及到在高斯数和渲染性能之间找到一个量度，从而提高行使稀疏样本的效率。

然后，还应该计议质地差的数据。无经管的意境图像是一种典型的情况，包括瞬态讳饰和动态外不雅变化，如天外、天气和光照的变化，这些在NeRF[209]、[210]、[211]中有粗鄙的讨论。为了提高效率，现存的作品也在3DGS的布景下讨论了这个问题[212]，[213]，它们试图建模外不雅变化并处理瞬态物体。但是，他们的施展叛逆，非常是在复杂的灯光变化和频繁讳饰的场景。由于3DGS的显式暗示性情，解耦几何暗示并在不同场景中引入几何一致性经管是一种很有前途的方法，不错浮松磨真金不怕火过程中的不褂讪性。

8.2泛化

现存的泛化干系责任天然不错通过前向推理径直获取场景表征，但其施展时常不尽东说念主意，何况受到场景类型的放手[46]、[49]、[50]、[93]。咱们假定这是由于前馈采集难以对3DGS进行自顺应戒指，如[47]中所述。在畴昔的讨论中，遐想一种基于参考特征的前馈自顺应戒指战略是一种潜在的处治有规划，该战略不错通过参考特征瞻望需要自顺应戒指的位置，并可即插即用到现存的泛化干系责任中。此外，现存的泛化干系责任依赖于准确的姿势，在践诺应用中时常难以获取[208]，[214]，[215]。因此，讨论位姿缺失条件下的可泛化3DGS亦然有但愿的[204]。

8.3物理问题

8.3.1基于物理的畅通

确保3DGS的畅通遵守物理定律对于谐和模拟和渲染至关障碍[139]。尽管还是引入了与刚性干系的正则化术语，如第6.4.1节所述，但大多数现存的责任都聚首在动画3DGS上，而忽略了高斯原语自身的物理属性(第5.1节)。一些草创性的作品试图引入速率属性[106]和牛顿能源学规矩[139]，但这不及以十足描摹三维物体在空间中的物理畅通。一个潜在的处治有规划是在高斯原语中引入更多的物理属性，如材料[216]、加速率和力分散，这些属性可能受到某些仿真器具和物理学问的先验经管。

8.3.2基于物理的渲染

基于物理的渲染亦然一个值得关心的标的，因为它使3DGS好像处理重光照和材质剪辑，产生出色的反向渲染后果[40]。畴昔的责任不错探索3DGS中几何与外不雅的解耦，从法向重建和照明与材料建模的角度进行讨论[72]，[216]，[217]。

8.4真实高效

8.4.1曲面重建

重建表示名义的贫苦一直是影响渲染真实感的首要挑战。正如第5.2节所讨论的，一些作品还是处治了这个问题，试图用平面高斯暗示曲面。但是，这可能会导致渲染性能下跌，可能是由于平面高斯基元的暗示智力镌汰或磨真金不怕火过程的不褂讪性。因此，遐想更得当名义暗示的高斯原语和引入多阶段磨真金不怕火范式以及正则化项是潜在的处治有规划。

8.4.2效率

存储效率是3DGS的要道瓶颈之一。现存的责任要点是先容VQ时刻和压缩SH参数，如第3.1.1节所述。但是，这种方法不可幸免地会影响渲染性能。因此，探索如何基于3DGS遐想更高效的暗示是在保持性能的同期提高效率[26]，[27]的潜在阶梯。

8.5应用

8.5.1大限制高斯飞溅

天然最近的方法好像灵验地重建小限制和以对象为中心的场景，扩展这一丝由于有限的视频内存、冗长的优化时候和权贵的外不雅变化，大限制场景的智力仍然具有挑战性。最近的一些作品试图处治这些问题。举例，VastGaussian[218]直不雅地使用基于相机位置的区域区别机制将大场景区别为多个小块，并说明空间感知的可见性程序引入特殊的扶植相机位置，相通，Fed3DGS[219]在大限制3DGS中引入了联邦学习框架，以减少中央劳动器上的数据负载，并扫尾了高斯合并战略，扫尾了数百万客户端和分散式诡计资源之间的分散重建。遵守这些方法，仍有大批的讨论空间。

8.5.2 AIGC

现存的aigc干系责任东要聚首在单个静态对象的生成上。但是，在践诺应用中，多对象(第4.2.3节)和动态对象(第4.2.4节)的生成更为障碍。此外，在构建具有多个畅通物体的场景时，描摹物体之间的相互作用亦然一个值得讨论的课题。

8.5.3应用扩展

由于3DGS的高效和强盛的重建智力，在医学[220]、工业缺欠检测[221]、图像压缩[222]、航空[223]等各个领域得到了粗鄙的应用。在畴昔，3DGS有可能在其他领域取代NeRF进行3D重建，如机器东说念主[224]和生物学[225]。

8.6时刻改进

8.6.1运行化

越来越多的讨论和工程款式发现运行化在3DGS中很障碍。传统的SfM运行化不得当许多经管场景，举例稀疏视图栽培、AIGC和低光重建。因此，应该遐想更健壮的运行化方法来代替这些受限场景中的随即运行化。

8.6.2泼溅

飞溅在3DGS中也演出着障碍的脚色，但在现存的作品中很少说起[190]，[191]。在预磨真金不怕火的3DGS上遐想高效的并行喷溅战略有可能影响渲染性能和效率

9论断

3D高斯溅射(3DGS)领域兴隆发展的兴味促成了无数干系卑劣任务和时刻的出现，从而导致了该领域内日益增多的复杂性和零乱，这些复杂性和零乱以各式形势施展出来，包括不同作品的相似动机;在不同的任务中整合类似的时刻;以及各式时刻之间的轻飘别离和相互连系。在这项调查中，咱们起劲说明其潜在动机对现存作品进行系统分类，并批判性地讨论干系时刻。咱们的主见是发达跨越不同任务和时刻的共同挑战，从而为默契这个快速发展的领域提供一个连贯的框架。本调查旨在为外行和教训丰富的从业者提供珍视的资源，促进导航和灵验参与最新进展。此外，咱们敬佩并强调了畴昔讨论的潜在阶梯，旨在引发3DGS的络续翻新和探索。