腾讯发布3D开源模型：混元-3D 10秒即可生成高分辨率细3D模型

腾讯推出的一体化 3D 生成框架： 混元3D-1.0 ，支持从文本和图像生成 3D 内容，仅需 10 秒便可生成3D模型。 文本到 3D ：用户可以通过简单的文本描述生成 3D 对象。例如，描述一片绿叶或一把棕色吉他，模型将生成对应的 3D 物体。 [video width="2012" height="1724" mp4="https://img.xiaohu.ai/2024/11/Jietu20241105-180343-HD.mp4"][/video] 图像到 3D ：支持多种尺度的物体重建，从大型建筑到小型工具和植物都能准确生成。 [video width="2000" height="1630" mp4="https://img.xiaohu.ai/2024/11/Jietu20241105-180510-HD.mp4"][/video] 多视角生成 ：生成物体的多角度2D视图，确保3D模型的细节和一致性，让模型看起来更真实。 快速3D重建 ：利用多个视角的图像在短时间内重建出完整的3D模型，约10秒即可完成，适合需要快速生成3D内容的应用。 高分辨率细节增强 ：具备提升细节清晰度的超分辨率模块，让生成的3D模型更加精细。 显式3D网格输出 ：支持直接输出可编辑的3D网格，方便在其他3D软件中进一步编辑和使用。 10 秒内生成 ：包括网格和纹理提取在内，整个过程在 10 秒内完成。 [video width="1280" height="720" mp4="https://img.xiaohu.ai/2024/11/twittervid.com_si_pbc_fb0105.mp4"][/video] 技术细节 两阶段生成流程 ： 第一阶段：多视角扩散模型（Multi-View Diffusion Model） 多视角生成 ：在该阶段，模型生成多个视角的 RGB 图像，每个图像从不同的角度捕捉目标对象。这些多视角图像保留了 3D 对象的丰富纹理和几何信息，将 3D 生成任务从单视图重建转化为多视角重建，从而提升了 3D 生成的准确性。 生成速度 ： 标准版本的多视角生成过程约耗时 4 秒 ，lite 版本优化了生成速度，适用于需要更快速响应的场景。 降噪与一致性 ：多视角图像生成过程中，扩散模型会通过控制噪声水平和视角一致性，使得图像质量更高，为后续的 3D 重建奠定基础。 第二阶段：前馈重建模型（Feed-Forward Reconstruction Model） 3D 重建 ：基于第一阶段的多视角图像进行 3D 重建，约需 7 秒。在第二阶段，前馈重建模型基于第一阶段生成的多视角图像快速重建出高精度的 3D 模型。这个阶段大约耗时 3 秒。 噪声与不一致处理 ：前馈模型具备处理噪声和多视角不一致的能力，通过对图像信息的进一步提取和合成，生成更加完整和真实的 3D 结构。 最终输出 ：重建的 3D 模型包含完整的网格和纹理信息，适用于直接应用于 VR/AR、游戏和动画等领域。 2. 0度仰角摄像机轨道设置 技术描述 ：在多视角生成阶段，摄像机被设置为0度仰角（水平视角），并沿特定轨道移动以捕捉物体的多个视角。 技术优势 ：0度仰角设置使生成的多视角图像间的可见区域尽可能大化，从而确保视角之间的内容一致性。这种设置可以有效减少视角间的不一致性，提高3D重建的准确性。 3. 自适应分类器无指导机制 技术描述 ：混元3D-1.0 在多视角生成中采用了自适应的分类器无指导（CFG）机制，根据不同的视角和时间动态调整CFG值，以平衡细节的控制和视角的一致性。 技术优势 ：传统固定的CFG值可能会导致某些视角下生成图像出现阴影或细节丢失，而自适应CFG机制根据视角的不同动态调整CFG值，使得模型在保持细节的同时增强了生成图像的多样性和一致性。 4. 混合输入方法 技术描述 ：在稀疏视角重建阶段，除了使用已知视角的RGB图像，混元3D-1.0 还引入未校准的条件图像作为辅助视图，以补充多视角生成图像中未被覆盖的区域。 技术优势 ：混合输入方法可以有效地弥补多视角图像的盲区，提高3D重建的准确性。尤其对于一些视角不完整的物体（如顶视图），该方法可以更好地恢复3D模型的完整形状。 5. 超分辨率模块 技术描述 ：混元3D-1.0 使用轻量级超分辨率模块，在不显著增加内存和计算成本的前提下，提高三平面特征的分辨率。 技术优势 ：高分辨率的三平面特征能够捕捉到更多的3D细节，提升生成模型的清晰度和细腻度。该模块可以有效减少低分辨率生成中的伪影问题，适用于需要高质量3D模型的场景。 6. 显式3D表示与网格转换 技术描述 ：在3D重建中，混元3D-1.0 使用签名距离函数（SDF）来表示3D形状，并通过 Marching Cubes 算法将其转换为显式3D网格。 技术优势 ：显式网格输出便于用户在其他3D软件中进行进一步编辑和应用，比如在游戏和影视中直接使用生成的3D模型。这种方法让生成的3D模型更具实用性，便于后续加工和整合。 模型优化与性能 参数规模 ：标准版本的参数量比 lite 版本多 3 倍，能够在较高的细节层次上生成 3D 内容，适用于对质量要求较高的应用。 生成速度 ：在 NVIDIA A100 GPU 上，lite 版本生成 3D 网格大约需要 10 秒，标准版本约 25 秒。通过这一优化，Hunyuan3D-1.0 平衡了速度与生成质量，在 3D 生成任务中表现出色。 可配置性 ：用户可以通过设置随机种子、采样步数、面片数量等参数来控制生成过程的输出，进一步提升模型的灵活性和应用范围。 官网： https://3d.hunyuan.tencent.com/ GitHub： https://github.com/Tencent/Hunyuan3D-1 论文： https://3d.hunyuan.tencent.com/hunyuan3d.pdf 模型： https://huggingface.co/tencent/Hunyuan3D-1

Hertz-dev：首个会话音频开源模型全双工实时语音交互 120毫秒超低延迟

腾讯发布目前最大开源MoE模型：腾讯混元大模型（Hunyuan-Large）具有 3890 亿参数

Fish Audio 发布语音到语音模型Fish Agent V0.1 3B 实现“即时”语音克隆

Rive 发布 Layouts 新功能只需设计一次图像动画自动适应屏幕大小和各种布局

苹果发布 Ferret-UI 2 专门理解和与移动用户界面交互的模型让手机成为通用UI助手

教程：使用 E2F5工具实现文本转语音和唇同步视频制作

Menu

分类目录

腾讯发布3D开源模型：混元-3D 10秒即可生成高分辨率细3D模型

Related Posts

Recommendeds

Unique 3D：不到30秒从任意RGB图像中生成高保真3D模型

LearnLM-Tutor：DeepMind 开发专门用于一对一的教学辅导的 AI 模型

Transformer-Lite：在手机 GPU上高效部署大语言模型

Claude 引入上下文检索技术大幅提高RAG的性能和检索准确率

Agent Hospital ：一个完全模拟整个医院环境和流程的AI医院

Meta AI 推出新一代SAM 2 可实时在图像或视频中识别出特定对象并进行跟踪

Spline 推出3D设计工具：AI 3D Generation 支持文本生成3D模型

Prompt 学习地图 03 | 编写清晰的说明 – 分隔符的重要作用

StructLDM：根据2D图像的学习自动生成3D的人体模型

Prompt 学习地图 10 | 编写策略 – 提供参考文本

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?