Meta 发布端到端生成高质量的 3D 资产生成模型不到一分钟生成高质量3D模型

Meta 3D-Gen (3DGen) 是Meta开发的一种最新的文本到3D资产生成技术，可以端到端生成高质量的 3D 资产。生成的结果优于现有解决方案，速度是该领域现有工作的 3-10 倍。 它能够在不到一分钟的时间内通过文本描述快速生成高质量的3D形状和纹理，并支持物理基础渲染（PBR），适用于真实世界应用中的3D资产重光照。 [video width="1280" height="720" mp4="https://img.xiaohu.ai/2024/07/X2Twitter.com_1808154061986045952720p.mp4"][/video] 主要功能 快速生成高质量3D形状和纹理 ： 通过解析文本描述，能够在不到一分钟的时间内，从文本描述快速生成高质量的3D形状和纹理。 物理基础渲染（PBR）支持 ： 生成的3D模型支持物理基础渲染，使其在不同光照条件下都能表现出真实的材质效果，适用于各种现实世界应用。 生成性重纹理 ： 用户可以使用新的文本输入，对已经生成的或艺术家创作的3D形状进行重新上色和纹理生成，从而提高模型的视觉效果。 高提示一致性 ： 生成的3D模型与输入的文本描述高度一致，确保用户的创作意图得到精确表达。 多空间表示 ： 3DGen将3D对象同时表示在视图空间、体积空间和UV（或纹理）空间中，这种整合方式确保了生成结果的高质量和细节表现。 Meta 3D-Gen 的技术方法 1. 整体架构 Meta 3D-Gen 由两个主要技术组件组成：Meta 3D AssetGen 和 Meta 3D TextureGen。这两个组件协同工作，分别负责文本到3D生成和纹理生成及细化。 2. Meta 3D AssetGen [video width="720" height="720" mp4="https://img.xiaohu.ai/2024/07/X2Twitter.com_1808158184416464896720p.mp4"][/video] 文本到3D生成 ：利用文本描述生成初步的3D网格和基础纹理。这个过程包括以下几个步骤： 多视角生成 ：通过多视角和多通道版本的文本到图像生成器生成对象的多个视角图像。 体积重建 ：利用重建网络从这些视角图像中提取3D形状，并生成初步的3D网格和基础纹理。 PBR支持 ：生成的3D网格包含物理基础渲染（PBR）材料地图，支持真实感光照。 优势 ：通过使用符号距离函数（SDF）来更可靠地表示3D形状，并引入对应的损失函数进行直接形状监督。 3. Meta 3D TextureGen [video width="720" height="720" mp4="https://img.xiaohu.ai/2024/07/X2Twitter.com_1808158184420642816720p.mp4"][/video] 文本到纹理生成 ：为给定的3D形状生成高质量的纹理。这个过程包括以下几个步骤： 多视角生成 ：从文本描述和3D对象生成多个视角图像。 纹理重投影 ：将这些视角图像重新投影到相应的纹理图像上。 UV空间生成 ：生成最终的UV纹理图，结合视图空间和UV空间的生成，提升纹理的质量和分辨率。 纹理增强 ：通过纹理增强网络，可以将任何纹理放大到更高的分辨率（如4k像素）。 4. 整合方法 阶段I：3D资产生成 ：通过Meta 3D AssetGen生成初步的3D网格和基础纹理，耗时约30秒。 阶段II：纹理细化 ：通过Meta 3D TextureGen对生成的3D资产进行纹理细化，提升视觉质量和一致性，耗时约20秒。 多重空间表示 ：3DGen通过结合视图空间、体积空间和UV空间，确保生成的3D对象具有高质量和细节表现。 流程优化 ：整合了两个阶段的生成过程，使用相同的文本描述对两个阶段进行条件约束，从而提高生成结果的一致性和质量。 Meta 3D-Gen 性能评估结果 Meta 3D-Gen 在多项性能指标上表现出色，相较于其他行业基线具有显著优势。以下是其具体的性能评估结果： 1. 生成速度 阶段I（初步3D生成） ：约30秒 阶段II（纹理细化） ：约20秒 整体生成时间 ：不到1分钟 与行业标准相比，Meta 3D-Gen 的生成速度显著更快，某些竞争对手的生成时间从几分钟到一小时不等。 2. 用户研究与评估 进行了广泛的用户研究，包括通用用户和专业3D艺术家。 评估基准 ：使用了一套经过去重的404个文本提示，这些提示最初由DreamFusion引入。 文本一致性 ：3DGen在所有提示类别中都显示出较高的一致性，超过了所有考虑的行业基线。 视觉质量 ：在视觉质量、几何形状和纹理细节方面，3DGen的表现优于大多数竞争对手。 用户偏好 ：68%的案例中，用户更喜欢阶段II生成的纹理质量。 3. 行业基线对比 CSM Cube 2.0 ：生成时间最长，约1小时。缺乏PBR材料支持。 Tripo3D ：生成时间约3分钟，缺乏PBR材料支持。 Rodin Gen-1 ：生成时间约3分钟，生成失败率7%。 Meshy v3 ：生成时间约10分钟，存在纹理和几何问题。 第三方T23D生成器 ：生成时间约10分钟，有时存在纹理接缝问题。 4. 定性结果 图形质量 ：Meta 3D-Gen 在生成高频细节纹理方面表现尤为出色，且视觉美感更强。 复杂场景 ：在处理复杂组合和场景时，Meta 3D-Gen 的生成质量明显优于其他方法。 纹理一致性 ：Meta 3D-Gen 在多个视角下生成的纹理一致性更高，较少出现视觉伪影和几何错误。 5. 用户研究结果 通用用户 ：更喜欢细节更丰富、颜色更鲜艳的纹理，不太在意纹理和几何伪影。 专业3D艺术家 ：更关注几何形状和纹理的正确性，强烈偏好Meta 3D-Gen生成的结果。 6. 统计数据 提示一致性 ：3DGen的整体一致性评分为81.7%，高于其他行业基线。 视觉质量 ：3DGen在视觉质量评估中得分最高，达到84.1%。 几何质量 ：3DGen的几何质量评分为73.9%，在复杂提示下表现尤为突出。 一些效果展示： 详细介绍及论文： https://ai.meta.com/research/publications/meta-3d-gen/

Menu

分类目录

Meta 发布端到端生成高质量的 3D 资产生成模型不到一分钟生成高质量3D模型

Related Posts

Runway 推出视频扩展工具：Expand Video 可以无缝的为视频扩展画面

GetPickle AI是一款革新虚拟会议的AI工具让你的替身帮你开会你去干别的

Comfyui_Object_Migration：一致性换衣模型和工作流实物衣服一键穿上

ElevenLabs 推出构建语言对话AI代理的功能可使用其语音模型接入AI模型

Stripe 推出 Stripe Agent Toolkit：让 AI 代理能自动进行支付帮你购物、订机票等

Mistral AI 发布了全新的 Pixtral Large 开源模型超越 GPT-4o、Gemini-1.5 Pro 和 Claude-3.5 Sonnet

Recommendeds

Runway ：关于未来AI生成式媒体工具界面和交互的设计原则

Extropic 发布一种全新的热力学计算机利用物质随机波动驱动计算

Chat2DB：AI驱动的数据开发分析平台让普通人也能处理分析数据

Muse Pro 是一款融合AI专为iPad设计的实时画图应用

微软CEO Satya Nadella ：计算能力现在每 6 个月翻一番微软正在使用 AI 构建 AI

Prompt 学习地图 26 | 理论&实践 – Emotional Prompt 情感刺激

FunClip ：阿里巴巴开源的一款视频自动化视频剪辑工具

Ultralight-Digital-Human ：支持在移动设备上实时运行的超轻量级数字人模型

Upwork 研究报告：96%的高管希望AI工具能提高企业效率而71%的员工却感到适得其反

MotionFollower：将一个视频中的人物动作转移到另一个视频中的人物身上

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

Menu

分类目录

Meta 发布端到端生成高质量的 3D 资产生成模型 不到一分钟生成高质量3D模型

Support authors and subscribe to content

加入会员

Related Posts

Recommendeds

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

Meta 发布端到端生成高质量的 3D 资产生成模型不到一分钟生成高质量3D模型