SceneScript ：让 AR 和人工智能设备了解物理空间的几何形状

SceneScript 是由 Meta Reality Labs Research 开发的一种新型 3D 场景重建技术。它采用语言模型来生成和表达物理空间的布局，能够通过机器学习直接推断出房间的几何形状，从而提供一种全新的环境重建和表现方式。 想象一下，有这样一副时尚轻巧的眼镜，结合了情境化的人工智能和一个显示屏，能够在你需要时无缝地提供实时信息，并在你日常生活中主动提供帮助。为了使这样一副增强现实（AR）眼镜成为现实，系统必须能够理解你的物理环境布局以及世界的三维形态。这种理解将使AR眼镜能够根据你的个人情境定制内容，如将数字覆盖层与你的物理空间无缝融合，或提供逐步导航指引，帮助你在陌生地点找到方向。 为了使AR眼镜有效功能，它们首先必须准确地感知并理解用户周围的物理空间。这涉及到：

3D映射 ：使用先进的传感器和摄像头，眼镜会持续扫描环境以创建详细的3D地图。如SceneScript这样的技术在这里可能至关重要，它能准确地解释和预测复杂的几何形状和布局。

空间识别 ：识别物体及其空间关系允许眼镜在相关位置精确地覆盖数字信息，增强用户与世界的互动。

情境化人工智能

整合能够解释环境上下文和用户意图的AI，将使眼镜不仅仅是查看信息的工具，而是能够进行主动互动的智能助手：

个性化内容 ：基于用户的位置、一天中的时间甚至过去的行为，AR眼镜可以显示个性化信息，如新闻、交通更新或餐厅推荐。

实时协助 ：无论是提供逐步导航、实时翻译标志和菜单，还是提供有关地标和物体的上下文信息，眼镜都能在实用和丰富用户体验方面提供帮助。

与日常生活的无缝整合

为了使这些眼镜得到广泛采用，它们必须是非侵入性的，并且考虑到日常可用性：

时尚轻便 ：它们需要像普通眼镜一样舒适和时尚，以鼓励常规使用。

续航能力 ：高效的电力使用至关重要，确保眼镜可以在不需要频繁充电的情况下整天操作。

隐私和安全 ：保护用户数据至关重要，特别是在处理和存储个人和环境信息时。系统需要强大的安全措施来保护用户隐私。

然而，建立这些三维场景表示是一项复杂的任务。目前的 MR 头显（如 Meta Quest 3）是根据摄像头或 3D 传感器提供的原始视觉数据创建物理空间的虚拟表示。这些原始数据会被转换成一系列形状，用来描述环境的明显特征，如墙壁、天花板和门。通常情况下，这些系统依靠预定义的规则将原始数据转换成形状。然而，这种启发式方法往往会导致错误，尤其是在具有独特或不规则几何形状的空间中。 解决的问题 SceneScript 解决了在复杂或不规则空间布局中进行准确场景重建的挑战，这是一种使用语言生成场景布局和表示场景的新方法。传统的3D重建技术往往依赖固定的规则来解析环境数据，这在处理不规则形状或新奇布局时常常导致错误。SceneScript 的机器学习方法提高了场景重建的精确性和适应性。

[video width="720" height="720" mp4="https://img.xiaohu.ai/2024/04/Egocentric-footage-from-Project-Aria-showing-the-SceneScript-model-output.mp4"][/video] 通过 Aria 眼镜拍摄的画面，SceneScript 可以接收视觉输入，并估算出墙壁、门或窗户等场景元素。 创新之处 基于语言的场景描述 ：SceneScript 创新性地使用语言来描述场景布局，而不是传统的图形或数字数据表示方法。这使得场景的表达更加直观和易于理解。 端到端机器学习 ：与传统依赖预定义规则将原始视觉数据转换为场景特征的方法不同，SceneScript 使用端到端的机器学习模型，从原始数据中直接学习和推断空间的结构。 训练与隐私保护 ：为了训练这种模型同时确保隐私，SceneScript 使用了合成的室内环境数据集进行训练，这避免了使用真实世界数据可能带来的隐私问题。 功能和应用 高精度场景重建 ：提供紧凑、完整且清晰的几何表示，类似于可伸缩矢量图形，减少了内存需求，同时保持了高质量的视觉输出。 动态场景理解 ：能够理解并描述场景中的动态元素，如门的开闭状态，增强了模型对现实世界互动的适应性。 复杂几何和对象分解 ：不仅可以识别场景中的基本元素，还能进一步将这些元素分解成其构成部分，例如将沙发分解为垫子、腿和手臂等部分。 增强现实 (AR) 应用 ：能够为设计师提供定制化的 AR 内容创作工具，适应各种物理环境，为用户提供更丰富、个性化的体验。 [video width="720" height="720" mp4="https://img.xiaohu.ai/2024/04/Egocentric-footage-from-Meta-Quest-showing-prediction-of-object-primitive-shapes-in-an-office-environment.mp4"][/video] 如 Meta Quest 所示，SceneScript 预测的场景元素可以任意扩展，包括新的建筑特征、对象，甚至对象分解。 特别之处： 灵活且可扩展的模型设计 ：由于 SceneScript 使用纯语言来表示和预测场景，因此通过扩展用于描述模拟数据的语言，可以轻松地扩展场景元素。 模拟训练 ：SceneScript 使用名为 Aria Synthetic Environments 的完全模拟的数据集进行训练，该数据集由100,000个独特的室内环境组成，每个环境都用相同的相机特性进行模拟。 适应新的场景表示 ：与传统基于规则的场景重建方法不同，SceneScript 不需要为不同的对象或场景元素训练新的3D探测器。 [video width="1214" height="720" mp4="https://img.xiaohu.ai/2024/04/GDP63hn0NNn1TmkBAN2oeT4JC5l_bmdjAAAF.mp4"][/video] Aria 合成环境数据集

核心技术方法 1. 语言模型的应用：

SceneScript 利用了类似于自然语言处理中的大型语言模型（LLM）的技术，但专注于解析与空间几何和建筑元素相关的词汇。 该模型通过预测下一个“建筑标记”（例如“墙”，“门”等），将视觉数据转换为一种描述性的语言模型，这样的模型不仅可以生成对人类更为直观的空间描述，还可以被其他软件工具直接使用以进一步的数据分析和应用开发。 2. 端到端的机器学习：

不同于依赖预编程规则的传统方法，SceneScript 通过端到端的机器学习从基础视觉输入中直接推断出空间的布局和几何结构。 这种方法使得 SceneScript 能够学习并适应各种非标准的空间布局和复杂的场景结构，大大提高了模型的通用性和准确性。 3. 合成数据集的使用：

为了训练和优化 SceneScript，Reality Labs 使用了名为“Aria Synthetic Environments”的大规模合成数据集。 该数据集包含了成千上万的虚构室内环境，每个环境都配有详细的场景描述和通过模拟传感器创建的视频数据，这些都是在完全控制和隐私保护的条件下生成的。 4. 场景语言的可扩展性：

SceneScript 的另一个关键特点是其高度的可扩展性。开发者可以通过向场景描述语言中添加新的参数和标记，来训练模型理解并生成关于场景中物体状态（如门是否打开）或复杂几何结构（如家具的各个部件）的描述。 场景应用和未来前景 SceneScript 可能为 MR 头盔和未来的 AR 眼镜解锁关键用例，例如为视觉障碍人士提供逐步导航地图。 该技术还为 LLM 提供了推理物理空间所必需的词汇，最终可能为下一代数字助手解锁潜力，使其能够回答复杂的空间查询问题。 SceneScript 代表了真正的 AR 眼镜向物理和数字世界桥接的重要里程碑，展示了这种开创性方法将如何塑造 AI 和 ML 研究的未来。

增强现实（AR）和虚拟现实（VR） ：SceneScript 可以为 AR 和 VR 设备提供精确的3D场景重建，使用户能够体验到与真实世界几乎无缝对接的虚拟内容。这对于游戏、教育和专业培训尤其有价值。

室内设计与建筑规划 ：通过精确模拟物理空间，SceneScript 可以帮助设计师和建筑师在实际动工前，探索和实验各种设计方案，优化空间利用和美学布局。

导航和无障碍技术 ：SceneScript 可以用来开发更智能的室内导航系统，特别是为视觉障碍人士提供辅助，如通过AR眼镜提供实时的语音指导和障碍物警告。

机器人和自动化技术 ：在自动化仓库管理和服务机器人领域，SceneScript 能够帮助机器人更准确地理解和导航复杂的环境，提高工作效率和安全性。

详细： https://ai.meta.com/blog/scenescript-3d-scene-reconstruction-reality-labs-research/ 论文： Get the paper 获取文件 官网： https://www.projectaria.com/scenescript/