腾讯发布3D开源模型：混元-3D 10秒即可生成高分辨率细3D模型

腾讯推出的一体化 3D 生成框架： 混元3D-1.0 ，支持从文本和图像生成 3D 内容，仅需 10 秒便可生成3D模型。 文本到 3D ：用户可以通过简单的文本描述生成 3D 对象。例如，描述一片绿叶或一把棕色吉他，模型将生成对应的 3D 物体。 [video width="2012" height="1724" mp4="https://img.xiaohu.ai/2024/11/Jietu20241105-180343-HD.mp4"][/video] 图像到 3D ：支持多种尺度的物体重建，从大型建筑到小型工具和植物都能准确生成。 [video width="2000" height="1630" mp4="https://img.xiaohu.ai/2024/11/Jietu20241105-180510-HD.mp4"][/video] 多视角生成 ：生成物体的多角度2D视图，确保3D模型的细节和一致性，让模型看起来更真实。 快速3D重建 ：利用多个视角的图像在短时间内重建出完整的3D模型，约10秒即可完成，适合需要快速生成3D内容的应用。 高分辨率细节增强 ：具备提升细节清晰度的超分辨率模块，让生成的3D模型更加精细。 显式3D网格输出 ：支持直接输出可编辑的3D网格，方便在其他3D软件中进一步编辑和使用。 10 秒内生成 ：包括网格和纹理提取在内，整个过程在 10 秒内完成。 [video width="1280" height="720" mp4="https://img.xiaohu.ai/2024/11/twittervid.com_si_pbc_fb0105.mp4"][/video] 技术细节 两阶段生成流程 ： 第一阶段：多视角扩散模型（Multi-View Diffusion Model） 多视角生成 ：在该阶段，模型生成多个视角的 RGB 图像，每个图像从不同的角度捕捉目标对象。这些多视角图像保留了 3D 对象的丰富纹理和几何信息，将 3D 生成任务从单视图重建转化为多视角重建，从而提升了 3D 生成的准确性。 生成速度 ： 标准版本的多视角生成过程约耗时 4 秒 ，lite 版本优化了生成速度，适用于需要更快速响应的场景。 降噪与一致性 ：多视角图像生成过程中，扩散模型会通过控制噪声水平和视角一致性，使得图像质量更高，为后续的 3D 重建奠定基础。 第二阶段：前馈重建模型（Feed-Forward Reconstruction Model） 3D 重建 ：基于第一阶段的多视角图像进行 3D 重建，约需 7 秒。在第二阶段，前馈重建模型基于第一阶段生成的多视角图像快速重建出高精度的 3D 模型。这个阶段大约耗时 3 秒。 噪声与不一致处理 ：前馈模型具备处理噪声和多视角不一致的能力，通过对图像信息的进一步提取和合成，生成更加完整和真实的 3D 结构。 最终输出 ：重建的 3D 模型包含完整的网格和纹理信息，适用于直接应用于 VR/AR、游戏和动画等领域。 2. 0度仰角摄像机轨道设置 技术描述 ：在多视角生成阶段，摄像机被设置为0度仰角（水平视角），并沿特定轨道移动以捕捉物体的多个视角。 技术优势 ：0度仰角设置使生成的多视角图像间的可见区域尽可能大化，从而确保视角之间的内容一致性。这种设置可以有效减少视角间的不一致性，提高3D重建的准确性。 3. 自适应分类器无指导机制 技术描述 ：混元3D-1.0 在多视角生成中采用了自适应的分类器无指导（CFG）机制，根据不同的视角和时间动态调整CFG值，以平衡细节的控制和视角的一致性。 技术优势 ：传统固定的CFG值可能会导致某些视角下生成图像出现阴影或细节丢失，而自适应CFG机制根据视角的不同动态调整CFG值，使得模型在保持细节的同时增强了生成图像的多样性和一致性。 4. 混合输入方法 技术描述 ：在稀疏视角重建阶段，除了使用已知视角的RGB图像，混元3D-1.0 还引入未校准的条件图像作为辅助视图，以补充多视角生成图像中未被覆盖的区域。 技术优势 ：混合输入方法可以有效地弥补多视角图像的盲区，提高3D重建的准确性。尤其对于一些视角不完整的物体（如顶视图），该方法可以更好地恢复3D模型的完整形状。 5. 超分辨率模块 技术描述 ：混元3D-1.0 使用轻量级超分辨率模块，在不显著增加内存和计算成本的前提下，提高三平面特征的分辨率。 技术优势 ：高分辨率的三平面特征能够捕捉到更多的3D细节，提升生成模型的清晰度和细腻度。该模块可以有效减少低分辨率生成中的伪影问题，适用于需要高质量3D模型的场景。 6. 显式3D表示与网格转换 技术描述 ：在3D重建中，混元3D-1.0 使用签名距离函数（SDF）来表示3D形状，并通过 Marching Cubes 算法将其转换为显式3D网格。 技术优势 ：显式网格输出便于用户在其他3D软件中进行进一步编辑和应用，比如在游戏和影视中直接使用生成的3D模型。这种方法让生成的3D模型更具实用性，便于后续加工和整合。 模型优化与性能 参数规模 ：标准版本的参数量比 lite 版本多 3 倍，能够在较高的细节层次上生成 3D 内容，适用于对质量要求较高的应用。 生成速度 ：在 NVIDIA A100 GPU 上，lite 版本生成 3D 网格大约需要 10 秒，标准版本约 25 秒。通过这一优化，Hunyuan3D-1.0 平衡了速度与生成质量，在 3D 生成任务中表现出色。 可配置性 ：用户可以通过设置随机种子、采样步数、面片数量等参数来控制生成过程的输出，进一步提升模型的灵活性和应用范围。 官网： https://3d.hunyuan.tencent.com/ GitHub： https://github.com/Tencent/Hunyuan3D-1 论文： https://3d.hunyuan.tencent.com/hunyuan3d.pdf 模型： https://huggingface.co/tencent/Hunyuan3D-1

Livekit推出一个开源的精准语音轮次检测模型可精准识别用户是否说完话

微软开源了一款金融市场预测工具 MarS 能够实现逼真的市场模拟

MidJourney 推出个性化档案和情绪版新功能记住你的风格喜好

Google视频和图像生成模型更新包括Veo 2、Imagen 3和一个新工具Whisk

Google发布 2024年值得关注的Chrome扩展程序

Xai 发布 Grok-2 模型新版本速度提升3倍多语言指令遵循能力更强

Menu

分类目录

腾讯发布3D开源模型：混元-3D 10秒即可生成高分辨率细3D模型

Related Posts

Recommendeds

让 AI 像人类一样通过试错法学习决策和推理提高其逻辑推理和数学能力

Figure 机器人接入ChatGPT后获得自我推理等惊人能力

AtomoVideo：高保真图像到视频生成符合真实世界运动状态

Sync：无需训练的实时唇语同步+视频翻译AI配音

微软将推出Copilot for OneDrive：能总结和提取各种文件中的信息

前Stability AI 核心成员成立新公司发布 Flux.1 开源图像生成模型

X.AI 宣布推出了：Grok-1.5 128k 上下文长度，即将在𝕏上进行提供

WeWe-RSS：一种更优雅的微信公众号订阅方式

生数科技的 Vidu 视频模型开放 Sora架构可模仿真实物理世界开放了API申请

智谱AI发布其最新GLM-4-Plus模型以及展示了类似GPT 4o的语音视觉能力

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?