TripoSR：不到0.5秒，从单张图片快速生成高质量3D模型

Stability AI 与 Tripo AI 合作开发了 TripoSR，这是一个受到最新研究 LRM（大型单图像到3D重建模型） 启发的快速3D对象重建模型。 TripoSR能够在不到0.5秒的时间内从单张图片生成3D网格。 它基于Transforme架构，结合了多项技术改进，以提高重建效率和质量。 主要能力： 快速3D对象重建： TripoSR能够在不到0.5秒的时间内，从单张图片快速生成3D网格模型，这对于需要快速从2D图像转换到3D模型的应用领域（如娱乐、游戏开发、工业设计和建筑）来说，提供了巨大的便利。 高质量3D生成： 它利用改进的数据处理和模型设计技术，生成的3D模型在定量和定性方面均优于现有的开源方案。 广泛适用性： 通过采用多样化的数据渲染技术，TripoSR能够更接近地模拟现实世界中图像的分布，从而显著提高模型对于各种场景的泛化能力。模型能够处理不同类型和领域的输入图片，重建出各种类型对象的高质量3D模型。 开源共享： TripoSR在MIT许可下发布，提供源代码、预训练模型和在线交互式演示，促进了研究和开发社区的进步。 技术原理： 模型架构： TripoSR采用基于Transforme的架构，专门为从单张图像到3D重建设计。其核心组件包括图像编码器、图像到三维平面（triplane）解码器和基于三维平面的神经辐射场（NeRF）。 图像编码器： 使用预训练的视觉变压器模型DINOv1初始化，将RGB图像投影到一组潜在向量中，这些向量编码了图像的全局和局部特征，包含重建3D对象所需的信息。 图像到三维平面解码器： 将潜在向量转换到三维平面-NeRF表示，这是一种紧凑且表达丰富的3D表示方式，适合表现具有复杂形状和纹理的对象。 三维平面基NeRF模型： 包含一系列多层感知机（MLP），负责预测空间中3D点的颜色和密度。 技术改进： 数据策划和渲染： 为训练数据，精心策划了一个更高质量的CC-BY子集，即 Objaverse 数据集。采用多样化的数据渲染技术，提高训练数据的质量，增强模型的泛化能力。 三维平面通道优化： 优化了三维平面-NeRF表示中的通道配置，平衡了重建质量和计算效率，允许在训练阶段使用更大的批量大小和更高的分辨率。 掩模损失函数： 引入掩模损失函数减少了“浮动”伪影，提高了重建的真实性。 局部渲染监督： 完全依赖渲染损失进行监督，采用了高分辨率渲染策略，通过渲染训练图像的随机补丁来平衡计算效率和重建的细节。 测试结果： 定量比较： 在GSO和OmniObject3D验证集上进行的定量比较显示，TripoSR在Chamfer Distance (CD) 和 F-score 指标上显著优于所有基线方法，包括One-2-3-45、ZeroShape、TGS (TriplaneGaussian) 和 OpenLRM。这些结果证明了TripoSR在精确捕捉3D对象形状和细节方面的高效能。 性能与运行时间： TripoSR不仅在性能上表现出色，而且在推理速度上也有显著优势。在NVIDIA A100 GPU上，TripoSR能够在大约0.5秒内从单张图像生成3D网格，这使其成为最快的网络之一，、这一速度比其他图像到3D模型，如OpenLRM，快得多，显示出TripoSR在快速3D对象重建方面的显著优势。 视觉结果： 报告中还展示了不同方法的定性比较结果。与其他一些方法如ZeroShape和TGS相比，TripoSR能够生成具有更高质量和更好细节的3D形状和纹理。TripoSR不仅能够更好地捕捉到对象的整体3D结构，还能够在模拟复杂细节方面表现出色。 详细介绍： https://stability.ai/news/triposr-3d-generation 技术报告： https://stability.ai/s/TripoSR_report.pdf 模型下载： https://huggingface.co/stabilityai/TripoSR 在线演示： https://huggingface.co/spaces/stabilityai/TripoSR GitHub： https://github.com/VAST-AI-Research/TripoSR

Menu

分类目录

TripoSR：不到0.5秒，从单张图片快速生成高质量3D模型

Related Posts

Luma 推出 Luma Photon 和 Photon Flash 基于全新架构的图像生成模型

Hume AI 推出 Voice Control 功能通过滑块操作即可实现个性化的语音定制

不同文本转语音（TTS）模型对比优缺点以及场景选择

IC-Light 升级为IC-Light V2-Vary 可更灵活地调整光源位置和强度

微软发布 Co-op Translator 可以一次性将Markdown 文件和和图像翻译成多种语言

AnchorCrafter：自动生成具有主播风格的产品宣传视频解决了人-物交互控制

Recommendeds

支付宝发布 EchoMimicV2 ：从数字脸扩展到数字人可以通过图片+音频生成半身动画视频

AI 应用程序是如何赚钱的？他们的定价模式、价值指标…五个主要发现

PictoGraphic：拥有超过40000张的免费AI生成插图库

ChatGPT 改进数据分析功能可以与数据表格进行实时交互

GetPickle AI是一款革新虚拟会议的AI工具让你的替身帮你开会你去干别的

DuckDuckGo 推出私密 AI聊天机器人承诺不会使用你的数据训练模型

FoleyCrafter：精准的为无声视频自动配音生成同步且逼真的声音

TikTok 推出生成式 AI 内容工具套件Symphony 包含一系列 AI 内容生成工具

Clarity AI ：AI图像放大与增强 – 免费且开源的Magnific替代品

字节跳动发布AI开发工具：豆包MarsCode 无需配置环境实现云端编码开发

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

Menu

分类目录

TripoSR：不到0.5秒，从单张图片快速生成高质量3D模型

Support authors and subscribe to content

加入会员

Related Posts

Recommendeds

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?