之前报道 Archetype AI 发布了一个创新的人工智能平台 —— Newton™，这是一个专门为理解物理世界设计的基础模型。
Newton™ 与目前的文本和图像分析的生成式 AI 模型不同，它结合了实时传感器数据（如雷达、摄像头、加速度计、温度传感器等）和自然语言处理技术，使用户能够对周围世界提出开放式问题，并做出明智的决策。
最近Archetype AI 团队发表了一篇新的论文《A Phenomenological AI Foundation Model for Physical Signals》，展示了如何通过这个AI基础模型，能够在没有明确教导物理定律的情况下，有效地编码和预测它从未接触过的物理行为和过程。
也就是说，这个模型不需要提前学习具体的物理知识，而是通过分析数据自行发现物理规律。
Newton模型的核心特点：
- 无需物理定律的先验输入：
- Newton不是基于预设的物理定律（如能量守恒或牛顿运动定律）进行学习，而是通过分析大量传感器数据自主发现物理规律。
- 这种方法类似于科学家们在没有先验知识的情况下，通过观察和测量推导出物理定律的过程。
- 零次预测能力（Zero-Shot Forecasting）：
- Newton具有强大的“零次预测”能力，即它能够在从未见过的物理系统上进行预测。例如，Newton在没有被专门训练的情况下，能够基于实时或历史传感器数据预测复杂物理系统的行为，如城市的电力需求、工业设备的温度变化等。
- 这一能力展示了Newton模型在多领域应用中的广泛适应性。
- 通过传感器数据进行学习：
- Newton使用传感器数据进行自主学习，涵盖了从电流、流体流动到光学传感器的各种物理现象。通过0.59亿个开放数据集样本的预训练，Newton能够从这些噪声数据中提取出物理系统中的隐藏模式和统计分布。
- 轻量级解码器的应用：
- 在Newton模型的基础上，团队还开发了多个轻量级的应用特定的神经网络解码器，这些解码器能够基于Newton的编码信息执行特定的物理任务，如预测未来的物理系统行为或重构过去的事件。
Newton模型经过数百万个传感器数据的训练，能够预测其从未接触过的物理系统。例如，在弹簧-质量系统这样的经典物理系统中，Newton展现了出色的预测能力。
AI 如何“理解”现实世界？
传统上，理解物理现象需要先学习物理定律，如能量守恒定律，然后应用这些定律来分析物理数据。我们常常认为 AI 也需要这种先验知识，才能理解和处理来自物理世界的数据。但 Archetype AI 的 Newton 模型采取了不同的路线，旨在通过传感器数据自主学习和预测物理系统的行为。它并不依赖预设的物理定律，而是直接通过观察数据来推导这些物理规律。
挑战：物理世界的复杂性
物理世界非常复杂，许多现象无法仅通过几个物理定律来完全描述。例如，像电网这样复杂的系统，很难用简单的方程式精确描述。传统的 AI 模型在面对这些复杂现象时，通常需要针对每种情况专门定制。但 Newton 模型通过从传感器数据中自主学习，展现出了一种全新的理解物理世界的方式，类似于人类科学家通过观察和实验推导出自然规律。
关键突破：
Newton 模型通过数百万个传感器数据进行训练，能够“零-shot”预测未曾见过的物理现象。这意味着它不需要预先了解具体的系统就能推导其未来行为。Newton 模型展示了 AI 在没有明确物理知识输入的情况下，学习物理现象并做出预测的能力。
Newton 模型如何工作？
工作原理
Newton模型的工作原理基于AI的深度学习技术，专注于从传感器数据中自主学习物理系统的规律。基于超过5.9亿条开源物理行为数据训练，采用了基于Transformer的深度神经网络来编码原始传感器数据，并通过多个轻量级的神经网络解码器进行特定任务的预测。这种架构极大提升了AI模型的泛化能力，使其能够适应多种复杂物理系统的预测，如电网负载、温度变化等。
它与传统的物理建模不同，不依赖于预先输入的物理定律，而是通过数据驱动的方式，通过大量的传感器数据，逐步发现和预测复杂物理系统的行为。
数据基础：
- Newton模型的训练基础是一个庞大的开源数据集，包含了5.9亿个样本，涵盖了广泛的物理行为数据，例如电流流动、流体运动和光学传感器测量等。这些数据代表了各类物理现象，从简单的机械运动到复杂的自然和工业过程。
基于Transformer的深度神经网络：
Newton 模型基于 transformer 架构的深度神经网络，模型的核心由 编码器（encoder） 和 现象学解码器（phenomenological decoders） 组成，能够处理传感器数据，并生成物理过程的预测结果。
- 编码器部分：使用 Transformer 网络对传感器数据进行编码，将这些数据转换为通用的隐空间表示（latent representation），即物理信号的紧凑特征向量，它包含了不同物理现象的统计模式和分布。
- 解码与应用：接下来，Newton 模型使用特定应用场景的轻量化解码器来解释这些模式。通过这些解码器，Newton 可以执行现实任务，例如根据传感器数据预测未来事件，或重建过去的物理现象。
其工作流程可以分为以下几个关键步骤：
1. 数据输入：传感器数据的收集
- 多样化传感器数据：Newton模型首先从各种传感器收集大量的物理数据，例如电流、温度、流体动力学、光学传感器等。这些数据可以是实时传输的，也可以是历史记录的物理现象数据。
- 数据类型广泛：这些传感器可以测量来自不同行业和领域的物理现象，例如电网负载、机器温度变化、流体流动等。这使Newton模型能够接触广泛的物理系统行为。
2. 数据预处理与特征提取
- 处理噪声和多样性：传感器数据通常包含噪声和复杂的背景信息。Newton使用神经网络技术来预处理这些数据，去除噪声并提取其中的关键物理特征。
- 特征提取：通过深度学习算法，Newton从这些不同来源的物理数据中提取出具有代表性的特征，帮助模型理解数据背后隐藏的物理模式和规律。
3. 模型编码：学习物理系统的模式
- 深度学习模型：Newton模型采用基于Transformer架构的深度神经网络，这是目前用于处理序列数据的最前沿AI技术。通过这种网络，Newton能够将所有传感器数据编码为一种统一的隐变量空间（latent space），即在不同物理系统中通用的特征表示。
- 跨领域学习：Newton的一个独特优势在于，它并不局限于学习某一个特定的物理系统，而是通过从多个不同的物理现象中提取共性，创建一个通用的物理规律模型。这种方法使Newton具备了在不同物理系统之间进行预测的能力。
4. 解码与预测：利用编码信息做出决策
- 轻量级解码器：Newton模型并不直接输出预测结果，而是利用轻量级应用特定的解码器，将编码的物理系统模式解码为具体的应用任务。例如，通过解码器，Newton可以预测未来的物理系统行为，或重构过去的物理现象。
- 实时或历史数据预测：这些解码器能够处理实时传感器数据或离线的历史数据，进行精准的预测。例如，它可以预测未来电网的电力需求、工业设备的温度变化，或者基于现有数据重构物理事件。
零-shot 预测：
Newton 模型不仅能够预测已知系统的行为，还能够准确预测以前从未见过的物理系统，这种能力被称为零-shot 预测。
例如，在未经过专门训练的情况下，Newton 能够通过摆的实时传感器数据，准确预测其复杂的动态行为。模型还可以预测更复杂的现象，如电网的能耗模式和变压器油温的变化，这些问题甚至对人类来说也很难精确建模。
- 零次预测能力：Newton的强大之处在于它能够进行“零次预测”，即模型可以在没有见过某一类特定物理数据的情况下，做出准确的预测。这意味着Newton可以基于从未见过的物理系统数据推断未来的行为。
- 泛化能力强：因为Newton模型在多样化的物理数据上进行了预训练，它具备高度的泛化能力，能够预测复杂系统的行为，即便这些系统与模型在训练过程中所见的数据完全不同。
自监督学习与泛化能力
- 自监督学习： Newton模型通过一种**自监督学习（self-supervised learning）**的方式训练，即模型可以从未标注的数据中学习和发现模式，而不依赖大量的人工标注。这种学习方式使得Newton能够更高效地从传感器数据中学习物理规律。
- 广泛的泛化能力： 由于Newton是从多样化的传感器数据中学习的，它具备高度的泛化能力，不仅能够处理训练数据中的任务，还能够扩展到完全不同的物理系统中，预测那些它从未见过的现象。这为工业、能源、自动化和科学研究等领域的应用打开了新的大门。
实验与结果
经典物理实验中的表现
- 机械振动实验：Newton模型接收到机械振动系统的实时传感器数据，例如弹簧-质量系统的振动数据。在没有明确教授物理原理的前提下，Newton通过观察这些数据，能够准确预测系统的未来振动行为。
- 热力学实验：Newton还被用于简单的热力学实验中，例如预测温度变化。在仅基于传感器提供的温度数据情况下，Newton展示了其准确预测温度趋势的能力。这表明它不仅可以处理简单的、规律性较强的物理现象，还能应对具有更高复杂度的动态变化。
- 实验结果：Newton能够基于传感器的实时数据，准确预测这些物理系统的行为。模型在面对首次接触的物理系统时，依然能够表现出准确的预测能力，展示了其出色的泛化能力。
复杂系统预测中的表现
研究人员将Newton模型应用于现实世界中的复杂物理系统。这些系统往往具有更高的复杂度，且它们的行为很难通过简单的物理定律描述。Newton在这些实验中展现了出色的零样本预测能力：
- 城市电力需求预测：
- Newton被用于预测土耳其城市的电力消耗。这类电力负载系统受到多种因素的影响，包括天气、社会活动和基础设施等。Newton通过实时传感器数据，能够准确预测未来几天的电力需求变化，表现出对复杂电力系统的适应性和预测能力。
- 变压器油温预测：
- 另一个实验中，Newton被用于预测电力变压器油温的变化。变压器油温受多种电力负载、环境温度以及电气系统运行状态的影响。尽管这个系统比机械振动或热力学实验要复杂得多，但Newton依然能够在没有专门为该任务训练的情况下，准确预测油温的未来趋势。
- 实验结果：Newton能够在从未见过的物理系统上进行零次预测（zero-shot forecasting），并且在这些复杂系统中的预测表现非常准确，超出了预期。
- 图1：预测土耳其的电力消耗。
- 图2：预测电力变压器中的油温变化。
- 在预测电力需求、变压器油温时，Newton不仅通过零样本预测取得了令人印象深刻的结果，甚至在某些情况下，优于专门为目标任务训练的模型。也就是说，Newton在面对没有见过的系统时，其预测性能超越了仅基于目标数据集训练的模型。
与传统模型的对比
- 实验设计：Newton的预测性能与其他经过专门训练的模型进行了对比。
- 实验结果：Newton模型的零次预测性能超过了那些针对单一物理系统专门训练的模型，特别是在没有针对性训练的情况下，Newton仍然表现出很强的预测能力。
- 误差对比：实验通过**均方误差（Mean Square Error, MSE）**来衡量模型的预测误差，Newton的预测误差在多个测试场景中显著低于传统模型。
实验验证的结论：
- 泛化能力强：Newton在各种实验中的表现证明了其强大的泛化能力，能够适应多种复杂物理系统的预测任务，即使这些系统从未被模型遇到过。
- 高准确性：无论是简单的物理实验（如机械振动和热力学）还是复杂的现实应用（如电力需求预测、变压器油温预测），Newton都展示了高准确性，甚至在某些情况下，其预测性能超越了专门为目标任务训练的模型。
- 零样本预测领先：Newton模型的核心优势在于其零样本预测能力，这使得它可以应对从未见过的物理系统并做出准确预测。这一能力在很多现实应用中至关重要，尤其是在缺乏大量训练数据的领域，如工业监控和科学研究。
实际应用的潜力
Newton 模型的自学习和零-shot 预测能力为多个行业带来了巨大的应用潜力，尤其是在工业和科学领域。它不仅能够大幅减少 AI 模型开发和部署的时间，还能够处理传统 AI 难以应对的复杂物理系统。