3D 生成重建017-StyleGaussian用文本或图像对你的3DGS内容进行风格迁移

news/2025/2/12 1:04:37

3D 生成重建017-StyleGaussian用文本或图像对你的3DGS内容进行风格迁移


文章目录

    • 0 论文工作
    • 1 论文方法
    • 2 实验结果

0 论文工作

论文 “StyleGaussian: Instant 3D Style Transfer with Gaussian Splatting” 介绍了一种新颖的3D风格迁移方法 StyleGaussian,该方法通过使用**3D高斯点云(3D Gaussian Splatting, 3DGS)**实现了即时的3D风格迁移,并且保持了实时渲染和严格的多视角一致性。风格迁移是指将一种图片的艺术风格应用到3D场景的视觉表现中,StyleGaussian能够在不牺牲渲染速度和视角一致性的前提下,以10帧每秒(fps)的速度实现这一过程。
实际上这个论文将低维度特征嵌入到3DGS,然后通过升维的方式得到高维度特征,这样特征嵌入能被vgg特征监督,这部分应该是参考了Feature 3DGS。特征用AdaIN混合后直接进行解码器。这种特征级别的混合跟3d级别的解码优势就是特征风格一致性。
paper
github

1 论文方法

在这里插入图片描述
该方法的工作流程包括三个步骤:
特征嵌入(Embedding):将2D VGG网络提取的图像特征嵌入到重建的3D高斯点云中。
风格迁移(Transfer):利用AdaIN(自适应实例归一化)算法将图像风格应用到嵌入的特征中。
解码(Decoding):通过KNN-based 3D CNN解码器将转化后的特征转换为RGB值,生成最终的3D风格图像。
高效的特征渲染策略:
由于VGG特征的高维度和高计算需求,传统方法在处理这些特征时非常耗费内存。StyleGaussian通过先渲染低维特征,然后将其映射到高维特征,从而减少了内存消耗并提升了渲染效率。这一策略不仅解决了高维特征的渲染问题,还使得3D高斯点云能够在GPU内存限制下有效工作。
基于KNN的3D CNN解码器:
传统的2D CNN解码器在3D风格迁移中往往存在多视角不一致的问题,因为2D CNN缺乏对空间上下文的理解。StyleGaussian提出了一个基于**K近邻(KNN)的3D CNN解码器,能够在3D空间内直接操作,保留了多视角的一致性。通过在每个高斯点的邻域内滑动窗口进行卷积,该解码器能够在3D空间中处理这些特征,避免了传统2D方法中可能产生的几何失真和视角不一致。
即时风格迁移:
StyleGaussian避免了传统的逐视角优化过程,使用零-shot风格迁移方法。其风格迁移过程无需为每个新视角重复计算,使得在给定风格图像后,可以瞬时生成新的渲染视角,并且保持高质量的风格迁移效果。
实时渲染与多视角一致性:
论文中的方法采用了
3D高斯点云(3DGS)**来进行场景重建,这种方法的优势在于其极高的渲染速度和较低的内存占用,能够保证即使是复杂的3D场景也可以在实时的情况下进行风格迁移,而不会影响渲染质量。
实验验证:
论文通过与现有的零-shot风格迁移方法(如HyperNet和StyleRF)进行对比,证明了StyleGaussian在风格对齐、内容保留、风格一致性和渲染速度等方面的优势。尤其是风格一致性,通过3D CNN解码器的使用,大幅提升了风格迁移的质量,避免了2D CNN在多视角下产生的视角不一致问题。
总结: 论文通过结合3D高斯点云和基于KNN的3D CNN的创新方法,成功实现了实时且高质量的3D风格迁移。这些创新使得StyleGaussian在3D场景的风格迁移领域具有重要的应用潜力,尤其适用于虚拟现实、增强现实和视频游戏等需要实时渲染的场景。

2 实验结果

在这里插入图片描述


https://dhexx.cn/news/show-5468789.html

相关文章

three.js透光率实现原理归纳

.transmission : Float 透光率(或者说透光性),范围从0.0到1.0。默认值是0.0。 很薄的透明或者半透明的塑料、玻璃材质即便在几乎完全透明的情况下仍旧会保留反射的光线,透光性属性用于这种类型的材质。 当透光率不为0的时候, opac…

CEEMDAN-CPO-VMD二次分解(CEEMDAN+冠豪猪优化算法CPO优化VMD)

CEEMDAN-CPO-VMD二次分解(CEEMDAN冠豪猪优化算法CPO优化VMD) 目录 CEEMDAN-CPO-VMD二次分解(CEEMDAN冠豪猪优化算法CPO优化VMD)效果一览基本介绍程序设计参考资料 效果一览 基本介绍 首先运用CEEMDAN对数据进行一次分解&#xff…

数仓技术hive与oracle对比(五)

附录说明 附录是对测试过程中涉及到的一些操作进行记录和解析。 oracle清除缓存 alter system flush shared_pool; 将使library cache和data dictionary cache以前保存的sql执行计划全部清空,但不会清空共享sql区或者共享pl/sql区里面缓存的最近被执行的条目。刷…

【WebRTC】适合新手宝宝的WebRTC入门教学

文章目录 简述SDPNATNAT的分类完全圆锥型受限圆锥型端口受限圆锥型对称型 ICESTUNTURN总结参考链接 简述 WebRTC通过整合现有的网络协议为设备提供了实时通信的能力,其底层由 C 开发,并通过标准化的 JavaScript API 和原生接口(如 C 和 Java…

import是如何“占领满屏“

import是如何“占领满屏“的? 《拒绝使用模块重导(Re-export)》 模块重导是一种通用的技术。在腾讯、字节、阿里等各大厂的组件库中都有大量使用。 如:字节的arco-design组件库中的组件:github.com/arco-design… …

openEuler卸载 rpm安装的 redis

停止 Redis 服务 sudo systemctl stop redis禁用 Redis 服务 sudo systemctl disable redis 卸载 Redis 软件包 sudo yum remove redis查找并删除 Redis 的残留文件 find / -name red*删除 Redis 配置文件 删除 Redis 数据文件 sudo rm -rf /var/lib/redis检查 Redis 是否…

【目标跟踪】AntiUAV600数据集详细介绍

AntiUAV600数据集的提出是为了适应真实场景,即无人机可能会随时随地出现和消失。目前提出的Anti-UAV任务都只是将其看做与跟踪其他目标一样的任务,没有结合现实情况考虑。 论文链接:https://arxiv.org/pdf/2306.15767https://arxiv.org/pdf/…

【大数据学习 | 面经】Spark 3.x 中的AQE(自适应查询执行)

Spark 3.x 中的自适应查询执行(Adaptive Query Execution,简称 AQE)通过多种方式提升性能,主要包括以下几个方面: 动态合并 Shuffle 分区(Coalescing Post Shuffle Partitions): 当 …

Linux-ubuntu环境配置

一,安装VWware,里面导入镜像文件 这些都是文件夹里面有的,然后对着正点原子视频安装就行,虚拟机的破解码,去百度搜一个能用就行,中间遇见俩问题。①乌班图里面不能上网,②插入U盘后,…

Netty - NIO基础学习

一 简介 1 三大模型是什么? IO三大模型之一,BIO,AIO,还有我们的主角NIO(non-blocking-io),也就是同步非阻塞式IO。这三种模型到底是干什么的?其实这三种模型都是对于JAVA的一种I/O框架,用来进行…