Anthropic 的 CEO Dario Amodei发表了一篇名为《机器爱的恩宠》的文章，讨论了强大人工智能（AI）对人类社会的潜在影响。
Dario认为，许多人低估了AI的正面潜力，同时也低估了AI可能带来的风险。他的观点是，虽然AI的风险需要谨慎对待，但如果我们能够有效地解决这些风险，AI将为人类带来巨大的进步。这篇文章提供了对未来的猜想，试图让人们更清楚地看到AI可能带来的积极变革。
为什么强调AI风险？
Dario解释了为什么他和他的公司更多地讨论AI的风险，而不是其益处。以下是他给出的几个原因：
- 风险的紧迫性：AI的许多好处已经由强大的市场力量驱动，几乎是必然的。而风险并非如此，风险的存在并不是不可避免的，因此需要积极努力去减少。
- 避免宣传的误解：如果AI公司过于强调AI的好处，可能会被认为是试图掩盖其负面影响或风险。因此，他选择专注于风险，以避免公众感到被操控。
- 避免自大：Dario不喜欢把AI公司或某个个体描绘成引领人类走向“救赎”的先知，认为这种过度夸张的愿景有危险性。
- 避免科幻氛围：尽管Dario相信AI会带来深远的影响，但他避免使用过度科幻的描述（如上传意识、外太空探索等），因为这种描述可能会让人感到不切实际，并掩盖实际问题。
AI的潜力：五大领域的积极影响
文章的主要部分详细讨论了AI对人类未来五大关键领域的潜在积极影响。Dario不仅描绘了一个充满希望的未来，还提出了具体的AI技术如何能够改变这些领域的预测：
- 生物学与身体健康
- AI的关键作用：AI不仅能够分析数据，还可以直接设计并指导生物学实验，仿佛一个虚拟的生物学家。它可以加速我们对疾病的理解、治疗方法的开发和医学工具的发明。
- 加速医疗进步：Amodei 预测，AI可能会在未来5到10年内实现50到100年的医学进步。这意味着可能出现以下成果：
- 疾病预防与治疗的重大突破：几乎所有自然传染性疾病将得到有效的预防和治疗。mRNA疫苗技术的进步将有可能创造出“万能疫苗”。
- 癌症的消除：癌症死亡率预计将下降95%以上，个性化基因治疗和靶向治疗技术的发展将使癌症治疗更加精准和高效。
- 遗传病的治愈：通过改进后的CRISPR技术和胚胎筛选，遗传性疾病将得到大规模预防和治疗。
- 寿命延长：人类寿命有望翻倍，达到150岁。AI有可能通过开发抗衰老药物和疗法，使人类健康寿命显著延长。
- 生物自由的实现
- Amodei 设想AI将赋予人类对自身生物特征的更多控制，涉及到生育、体型、外貌等方面的自由选择。随着这些技术的进步，个人将拥有更多的生物学自主权，这被称为“生物自由”。
- 神经科学与心理健康
- AI在精神疾病治疗中的应用
- 精神疾病的治愈：AI有望在神经科学领域加速对精神疾病（如抑郁症、精神分裂症、成瘾等）的研究和治疗。通过AI驱动的神经测量与干预技术，人类将能够更有效地理解并治疗复杂的神经网络疾病。
- 心理健康的整体提升：AI不但能治疗疾病，还将提升人类的日常心理健康水平。通过行为干预和认知增强技术，AI可以帮助人们更好地管理情绪、提高认知功能，从而提升整体生活质量。
- 大脑功能优化与增强
- 大脑认知功能的提升：AI在神经科学领域的应用不仅限于治疗疾病，它还有潜力提高大脑的认知能力。例如，AI可以通过个性化的行为指导帮助人们在工作和生活中更加高效、专注、情绪稳定。
- 超越日常的心理体验：AI可以帮助人类实现更高层次的心理体验，包括创造力的提升、情感的丰富以及类似冥想中的平静状态。Amodei 称之为“认知和心理自由”的扩展。
- 心理自由：AI有潜力帮助人们更好地控制自己的大脑和心理状态，使得人们在认知和情感上获得更大的自由。
- AI在精神疾病治疗中的应用
- 经济发展与贫困问题
- 发展中国家面临的挑战
- 健康领域的变革与普及：AI将能够大幅提高全球健康水平，尤其是在发展中国家。通过AI优化的疫苗分发和疾病根除计划，发展中国家在5到10年内有望在健康方面赶上发达国家。
- 经济增长的推动：AI也有潜力推动全球经济增长，尤其是帮助低收入国家实现快速的经济追赶。历史上东亚经济体在20世纪末实现了快速增长，AI有望通过更加智能的政策设计复制这一成功。尤其是在健康方面的进步（如消除艾滋病、疟疾等）将直接促进生产力的提升。
- 解决腐败与治理问题的潜力
- AI优化经济政策：尽管经济发展中有许多复杂的社会和人类因素，但AI可以通过优化经济政策来推动发展。例如，通过AI分析大规模经济数据、改进资源分配机制等手段，AI有潜力帮助低收入国家打破贫困的恶性循环，尤其是在卫生、基础设施和教育领域。
- 发展中国家面临的挑战
- 和平与治理
- 提升全球治理效率：AI可以通过分析数据、预测风险和优化资源分配来改善政府决策，提高治理效率。它可以帮助解决国际冲突、优化社会福利系统，并促进全球合作。
- 减少腐败和提高透明度：AI可以通过监测和分析国家和国际治理机构的行为，减少腐败，并提高治理过程的透明度，从而带来更加和平与繁荣的社会环境。
- 工作与意义
- 重新定义工作与生活的意义：AI可以自动化大部分重复性劳动，从而让人类专注于更有创造性和价值的工作。它还能够为那些因技术进步而失去工作的人提供新的工作机会，帮助他们找到生活的意义。
- 提高生活质量：通过自动化和提高生产效率，AI有潜力大大缩短工作时间，使人类能够将更多的时间用于个人成长、兴趣爱好和社交互动。
AI如何实现这些愿景？
Dario认为，AI的巨大潜力源于其能够超越人类智力局限的能力。他描绘了一个由AI驱动的“智能体国家”（a country of geniuses in a datacenter），这个系统可以通过自主学习和协作解决复杂问题。在Dario的设想中，AI不仅能够进行简单的对话或回答问题，还可以接管复杂任务，如进行长时间的科学实验或工程项目。AI的速度和效率将远远超过人类，并且可以同时在数百万个任务上工作。
面临的挑战与限制
尽管Dario对AI的潜力持乐观态度，但他也提到了一些潜在的限制：
- 现实世界的速度：尽管AI能够极大地加速计算和数据分析，但某些领域的进展仍然受到现实世界物理实验或硬件开发速度的限制。例如，生物实验往往需要数周或数月时间才能完成，这可能成为限制AI进一步发展的瓶颈。
- 数据的限制：尽管AI擅长分析现有数据，但在数据稀缺的情况下，AI的能力也会受到限制。例如，在粒子物理学中，缺乏新数据限制了科学家进一步研究的进展。
- 人类的约束：AI的发展必须在符合法律和道德的前提下进行，特别是在临床试验、医学伦理和国际法律法规的框架下，这可能会限制其在某些领域的应用。
以下是全文翻译
机器的爱之恩典 AI如何让世界变得更美好
我经常思考并讨论强大AI的风险。我领导的公司Anthropic开展了大量的研究，旨在减少这些风险。因此，有时人们得出结论，认为我是个悲观主义者或“末日论者”，觉得AI大部分情况下是危险或不好的。我并不这么认为。实际上，我之所以关注风险，是因为我认为它们是阻碍我们走向一个根本上积极未来的唯一障碍。我认为大多数人低估了AI带来的积极影响，就像我认为大多数人低估了AI可能带来的巨大风险一样。
在这篇文章中，我将尝试勾勒出这种积极影响的可能样貌——如果一切顺利的话，强大AI将如何改变世界。当然，没有人能够确定地预测未来，强大AI的影响可能比过去的技术变化更加难以预测，所以这一切不可避免地都充满了猜测。但我努力使这些猜测至少是经过深思熟虑且有益的，即使大多数细节可能是错误的。我包括了很多细节，主要是因为我认为具体的愿景比高度保留和抽象的愿景更能推动讨论。
不过首先，我想简要解释一下为什么我和Anthropic没有太多讨论强大AI的好处，为什么我们可能会继续更多地讨论风险。特别是，我做出这种选择是基于以下几点：
- 最大化影响力。AI技术的基本发展及其带来的许多（但不是所有）好处似乎是不可避免的（除非风险中断了一切），并且是由强大的市场力量推动的。而另一方面，风险不是预先注定的，我们的行动可以极大地改变它们的发生几率。
- 避免被视为宣传。AI公司不断强调AI的所有惊人好处，可能会被认为像是宣传者，或显得它们试图转移注意力，忽视缺点。此外，从原则上讲，我认为过多地“推销”自己的东西对精神健康有害。
- 避免自大。我经常对许多讨论AI风险的公共人物（更不用说AI公司领导人）谈论后AGI（通用人工智能）世界的方式感到厌恶，仿佛这是他们的使命，要像先知一样单枪匹马地引领人民走向救赎。我认为将公司视为单方面塑造世界是危险的，类似于宗教使命的技术目标也是危险的。
- 避免“科幻”包袱。尽管我认为大多数人低估了强大AI的好处，但讨论激进AI未来的小圈子通常采用过于“科幻”的语气（例如涉及上传意识、太空探索，或一般的赛博朋克氛围）。我认为这让人们不太认真看待这些主张，并让这些主张带有某种虚幻感。明确一点，问题并不在于描述的技术是否可能或可能性有多大（主要文章详细讨论了这一点）——而在于这种“氛围”隐含了许多文化包袱和未经说明的假设，关于什么样的未来是可取的，以及各种社会问题将如何展开。结果通常看起来像是为某一小群文化中的人服务的幻想，而让大多数人望而却步。
尽管以上所有问题存在，我真的认为讨论强大AI可能带来的美好世界非常重要，同时我们应尽力避免上述陷阱。实际上，我认为拥有一个真正鼓舞人心的未来愿景至关重要，而不仅仅是灭火计划。强大AI的许多影响是对抗性的或危险的，但最终必须有一个我们为之奋斗的目标——一个正和的结果，让每个人都能变得更好——一个让人们超越彼此的分歧，共同应对未来挑战的愿景。恐惧是一种动力，但它还不够：我们还需要希望。
AI的积极应用领域非常广泛（包括机器人技术、制造、能源等），但我将重点放在几个我认为最有可能直接改善人类生活质量的领域。这五个类别是：
- 生物学与健康
- 神经科学与心理健康
- 经济发展与贫困
- 和平与治理
- 工作与意义
我的预测可能被大多数标准视为激进（与科幻“奇点”愿景[^2] 相比除外），但我是真诚地在进行这些预测。所有我说的内容都可能是错误的（如前文所述），但我至少尝试将我的观点建立在对各领域进展速度的半分析性评估上，并试图理解这些进展可能在实践中意味着什么。幸运的是，我在生物学和神经科学领域有专业经验，我在经济发展领域则是一名知识丰富的业余爱好者，但我确信自己会在许多方面出错。
撰写本文让我意识到，召集一组领域专家（在生物学、经济学、国际关系等领域）来撰写一份比我所做的更好、更专业的版本将会非常有价值。最好将我在这里的努力视为为该小组提供的一个起点。
基本假设和框架
为了使整篇文章更加具体并更具依据，清楚地阐明我们所说的强大AI的定义（即5到10年倒计时开始的临界点），并且明确这种AI一旦出现时其影响的框架是有帮助的。
什么是强大AI（我不喜欢“AGI”这个术语[^3]），以及它何时（如果会的话）出现，本身就是一个巨大的讨论话题。我已经在公开场合讨论过这个问题，未来可能还会写一篇单独的文章来深入探讨。当然，许多人对强大AI即将建成持怀疑态度，有些人甚至怀疑它是否会被建成。我认为它可能最早在2026年出现，尽管也有可能需要更长时间。但是为了本文的目的，我希望暂时搁置这些问题，假设它会很快到来，并且重点关注它到来后5至10年内会发生什么。我还希望在这篇文章中假设关于这种系统的定义、它的能力以及它如何互动的基本概念，尽管在这些问题上仍然存在分歧。
按照我对强大AI的定义，我所想象的AI模型可能与今天的大型语言模型（LLM）在形式上相似，尽管它可能基于不同的架构，可能涉及多个相互作用的模型，并且训练方式也可能不同。具有以下几个特征：
- 在纯粹的智力方面，它比大多数相关领域（如生物学、编程、数学、工程、写作等）中的诺贝尔奖得主更聪明。这意味着它可以证明未解决的数学定理、写出极好的小说、从头写出复杂的代码库等。
- 除了只是“一个你可以对话的聪明机器”之外，它拥有所有对一个人类虚拟工作者可用的“接口”，包括文本、音频、视频、鼠标和键盘控制，以及互联网访问。它可以从事任何由此接口启用的行动、交流或远程操作，包括在互联网上采取行动，发布或接收指示，订购材料，指挥实验，观看视频，制作视频等等。它在所有这些任务上的技能都超过了世界上最有能力的人类。
- 它不仅仅是被动地回答问题，而是可以被赋予需要花费数小时、数天或数周完成的任务，然后自主完成这些任务，就像一个聪明的员工一样，在必要时寻求澄清。
- 它没有物理形式（除非你认为它生活在计算机屏幕上），但它可以通过计算机控制现有的物理工具、机器人或实验室设备；理论上，它甚至可以设计自己的机器人或设备来使用。
- 用于训练这个模型的资源可以被重新分配，以运行数百万个它的实例（这符合~2027年预计的数据中心规模），并且该模型可以以大约人类速度的10倍到100倍吸收信息并生成行动。然而，它可能会受到物理世界或它所交互的软件响应时间的限制。
- 这些数百万个副本可以在无关的任务上独立行动，或者在需要时像人类协作一样一起工作，甚至可能由不同的子群体精细调整，以特别擅长特定任务。
我们可以将这一切总结为“数据中心中的天才国度”。
显然，这样一个实体能够解决非常困难的问题，而且速度极快，但弄清楚它的速度究竟有多快并不容易。两种极端观点在我看来都是错误的。首先，你可能会认为世界会在几秒或几天的时间里瞬间转变（所谓的“奇点”），因为更高的智能将自我加速，并几乎立即解决所有可能的科学、工程和操作任务。这个问题在于，存在真实的物理和实践限制，例如制造硬件或进行生物实验的实际速度。即使一个新的天才国度也会遇到这些限制。智能可能非常强大，但它不是魔法仙尘。
另一方面，你可能认为技术进步已经饱和，或者受限于现实世界的数据或社会因素，并且比人类更智能的AI几乎不会带来太大变化。这在我看来同样不可信——我能想到数百个科学甚至社会问题，如果有一大群非常聪明的人从事这些问题的研究，进展将显著加快，尤其是如果他们不仅限于分析，还能在现实世界中实际推动进展（正如我们设想的天才国度可以做到的那样，包括指导或帮助人类团队）。
我认为，真相可能是这两种极端图景的某种混合体，并且其效果会因任务和领域的不同而异，并在细节上极为微妙。我相信，我们需要新的框架来以一种富有成效的方式思考这些细节。
经济学家经常谈论“生产要素”：如劳动力、土地和资本。“劳动/土地/资本的边际回报”这个短语描述了在给定的情况下，某种要素可能是限制因素——例如，一个空军既需要飞机也需要飞行员，如果你没有足够的飞机，雇佣更多的飞行员也无济于事。我相信在AI时代，我们应该讨论智能的边际回报，并尝试弄清楚还有哪些因素与智能互补，并且当智能非常高时会成为限制因素。我们不习惯以这种方式思考——即询问“在这项任务中，变得更聪明有多大帮助，且在什么时间框架内？”——但这似乎是理解一个拥有非常强大AI的世界的正确方式。
根据我对这些问题的猜测，限制或与智能互补的因素包括：
- 外界的速度。智能体需要与外部世界进行互动才能完成任务并学习，但世界的运转速度是有限的。细胞和动物以固定的速度运行，因此对它们进行的实验需要一定时间，有时这种时间是不可减少的。硬件、材料科学、人与人之间的沟通，甚至我们现有的软件基础设施都存在相同的问题。此外，在科学中，许多实验往往是连续进行的，每个实验都从上一个实验中汲取经验或建立在其基础上。这意味着，完成一个重大项目（例如开发癌症治疗）的速度可能有一个不可减少的最小时间，即使智能继续增加，这个时间也无法再减少。
- 数据需求。有时缺少原始数据，在这种情况下，再聪明的智能也帮不了忙。今天的粒子物理学家非常聪明，提出了各种各样的理论，但由于粒子加速器数据有限，他们无法选择其中哪种理论正确。在数据匮乏的情况下，即使他们变得超级智能，除非能够加速建造更大的加速器，否则他们也不会有显著的进展。
- 固有复杂性。有些事情本质上是不可预测或混乱的，即使是最强大的AI，也无法比今天的人类或计算机更好地预测或解开这些问题。例如，即使是非常强大的AI，在解决混沌系统（如三体问题）时，也只能比今天的人类和计算机多预测一点点。
- 来自人类的限制。许多事情无法在不违反法律、伤害人类或破坏社会的情况下完成。一个对齐的AI不会想做这些事情（如果我们拥有一个未对齐的AI，我们就回到了讨论风险的问题）。许多社会结构是低效的，甚至是有害的，但在遵守法律要求的临床试验、人们改变习惯的意愿或政府行为的情况下，要改变它们很困难。例如，有些技术在技术上非常有效，但其影响因法规或恐惧而大大减少，如核能、超音速飞行，甚至是电梯。
- 物理法则。这是第一个问题的更明确版本。有些物理法则看起来是不可打破的。例如，无法以比光速更快的速度行进，搅拌过的布丁不会恢复原状，芯片的每平方厘米只能容纳一定数量的晶体管，否则它们会变得不可靠。每次抹去一个比特的信息都需要一定的最小能量，这限制了世界上计算的密度。
此外，还存在基于时间尺度的区别。在短期内是困难的限制因素，随着时间推移，智能可能使这些因素变得更加灵活。例如，智能可以用来开发新的实验范式，使我们能够通过体外实验来学习以前需要在活体动物身上进行的实验，或者建造所需工具来收集新数据（例如更大的粒子加速器），或（在道德限制范围内）找到绕过人类限制的方法（例如，帮助改进临床试验系统，帮助创建新的管辖区，在这些管辖区内临床试验的官僚程序较少，或者改进科学本身，使人体临床试验不再那么必要或昂贵）。
因此，我们应该想象这样一种图景：最初智能在其他生产要素的限制下严重受阻，但随着时间推移，智能逐渐绕过这些限制，尽管它们永远不会完全消失（某些物理法则是绝对的）。关键问题是这些过程发生的速度以及顺序如何。
生物学与健康
生物学与健康领域的巨大潜力
生物学可能是科学进步对人类生活质量产生最直接和明确影响的领域。在过去的一个世纪里，人类终于战胜了一些古老的疾病（如天花），但许多其他疾病依然存在，战胜这些疾病将是一项巨大的成就。更进一步，生物科学原则上可以提高人类的健康基础质量，延长健康寿命，增加对我们自身生物过程的自由掌控，并解决一些我们目前认为是人类生存状态中不可避免的挑战。
在前面提到的“限制因素”框架中，将AI应用于生物学的主要挑战包括数据、物理世界的速度和固有的复杂性（实际上，这三者是相互关联的）。人类的限制因素也在后期阶段发挥作用，尤其是涉及临床试验时。让我们逐一分析这些因素。
物理世界的速度：细胞、动物甚至化学过程的实验都受到物理世界的速度限制。许多生物学实验涉及细菌或其他细胞的培养，或者等待化学反应发生，这有时需要数天甚至数周，没有明显的方式加速这一过程。动物实验可能需要数月，而人体实验通常需要数年（甚至几十年，尤其是长期结果研究）。有时也与此相关，数据往往不足——不仅是数量上的不足，更是质量上的不足：总是缺乏明确、无歧义的数据来隔离我们关心的生物效应，或在某一过程上进行因果干预，或者直接测量某些效应（而不是以某种间接或噪音较大的方式推断其后果）。
数据复杂性：即使我们拥有大量分子数据，例如我在进行质谱技术工作时收集的蛋白质组数据，这些数据往往也非常嘈杂，而且遗漏了很多信息（例如，这些蛋白质存在于哪些细胞类型？它们位于细胞的哪个部位？处于细胞周期的哪个阶段？）。
固有复杂性：如果你曾经见过人体代谢的生物化学图，你就会知道要隔离这个复杂系统中的任何部分的效应是非常困难的，而要精确干预该系统则更加困难。最后，超越了在人体实验上运行实验所需的时间，实际的临床试验还涉及大量的官僚主义和监管要求，许多人（包括我在内）认为这些要求是额外的负担，导致进展延迟。
鉴于此，许多生物学家对AI以及“生物大数据”的价值一直持怀疑态度。历史上，数学家、计算机科学家和物理学家在过去30年中将他们的技能应用于生物学，取得了相当的成功，但并没有带来最初预期的真正颠覆性影响。像AlphaFold这样的重大突破（它的创始人刚刚赢得了诺贝尔化学奖）以及AlphaProteo的成功，减少了这种怀疑，但人们仍然认为AI仅在有限的环境下有用。一种常见的说法是：“AI可以更好地分析数据，但它不能产生更多数据或提高数据质量。输入的是垃圾，输出的也是垃圾。”
但我认为，这种悲观观点是用错误的方式看待AI。如果我们关于AI进步的核心假设是正确的，那么看待AI的正确方式不是作为一种数据分析方法，而是一个虚拟生物学家，它可以执行生物学家所做的几乎所有任务，包括设计和运行现实世界中的实验（通过控制实验室机器人或简单地告诉人类该进行哪些实验——就像一个博士生导师对他的研究生那样），发明新的生物学方法或测量技术，等等。通过加速整个研究过程，AI可以真正加速生物学的进步。我想重申这一点，因为这是我谈论AI在生物学中的变革能力时最常见的误解：我不是在说AI只是数据分析工具。根据本文开头对强大AI的定义，我在说的是利用AI来执行、指导和改进生物学家所做的几乎一切。
更具体地说，我认为加速可能来自的领域是：生物学的进步中相当大的一部分实际上来自少数几项重大发现，这些发现往往与广泛的测量工具或技术有关[^12]，它们允许对生物系统进行精确但通用或可编程的干预。每年大约只有一项这样的重大发现，但这些发现大致推动了生物学50%以上的进步。它们之所以如此强大，正是因为它们能够穿透固有复杂性和数据限制，直接增加我们对生物过程的理解和控制。每隔十年左右出现的少数发现，既奠定了我们对生物学的基本科学理解，也推动了许多最强大的医疗治疗方法。
一些示例包括：
- CRISPR：一种允许在活体生物体中编辑任何基因的技术（将任意基因序列替换为其他任意序列）。自从开发出最初的技术以来，科学家们不断改进它，以便靶向特定细胞类型，提高准确性，并减少错误基因编辑——所有这些都是安全用于人类的必要条件。
- 显微技术：各种显微技术可以精确观察正在发生的事情，包括先进的光学显微镜（带有各种荧光技术、特殊光学器件等）、电子显微镜、原子力显微镜等。
- 基因组测序和合成：在过去几十年中，基因组测序和合成的成本已下降了几个数量级。
- 光遗传学技术：这些技术允许通过照射光线使神经元发射信号。
- mRNA疫苗：原则上，这种疫苗允许我们设计针对任何病原体的疫苗，并能够快速调整它们（mRNA疫苗因COVID-19而闻名）。
- CAR-T细胞疗法：这种细胞疗法允许将免疫细胞从体内取出，并“重新编程”以攻击原则上任何病原体。
- 概念上的突破：如病菌理论（germ theory of disease）或免疫系统与癌症之间的联系的发现[^13]。
我费力列出这些技术的原因是，我想提出一个关键主张：如果有更多聪明的、创造性的研究人员，这些技术的发现速度可以增加10倍甚至更多。换句话说，我认为这些发现的智力回报很高，而生物学和医学中的其他大多数进展主要都是基于这些发现。
我为什么这么认为？因为在我们试图确定“智力回报”时，我们应该习惯于询问一些问题。首先，这些发现通常是由极少数研究人员取得的，通常是同一批人反复取得成功，表明技能比随机搜索更重要（后者可能表明冗长的实验是限制因素）。其次，这些发现往往可以“提前”数年完成：例如，CRISPR本质上是细菌免疫系统的组成部分，自80年代以来就为人所知，但又过了25年，才有人意识到它可以被重新用于基因编辑。此外，它们通常因缺乏科学界的支持而被延迟多年（见这篇关于mRNA疫苗发明者的报道，类似的故事不胜枚举）。第三，成功的项目往往是草根性的，或者最初并不被认为是有前途的副产品，而不是大规模资助的努力。这表明不仅仅是大规模的资源集中推动了发现，更多的是智慧和创造力。
最后，尽管一些发现具有“连锁依赖性”（你需要先做出发现A，才能有工具或知识来做出发现B）——这再次可能造成实验延迟——但很多，甚至可能大多数发现是独立的，这意味着可以并行进行多个工作。这些事实，再加上我作为生物学家的总体经验，强烈表明，如果科学家们更聪明，并且更善于将人类掌握的大量生物学知识联系起来，可能有数百个这样的发现等着被发现（再次参照CRISPR的例子）。AlphaFold和AlphaProteo在解决人类几十年来精心设计的物理建模问题方面的成功（尽管是在狭窄领域内的狭窄工具），证明了原理，这应该为未来的发展指明方向。
因此，我的猜测是，强大的AI至少可以将这些发现的速度提高10倍，使我们在未来5到10年内取得相当于50到100年的生物学进展[^14]。为什么不可能提高100倍？也许有可能，但在这里连锁依赖性和实验时间变得重要：在一年内取得100年的进展需要很多事情首次正确，包括动物实验，以及设计显微镜或昂贵的实验室设备。我实际上对这个（或许听起来荒谬的）想法持开放态度，即我们可以在5到10年内取得相当于1000年的进展，但我对在一年内取得100年的进展持高度怀疑。另一种表达方式是，我认为存在一个不可避免的常量延迟：实验和硬件设计有一定的“潜伏期”，需要一定的迭代次数才能学习那些不能通过逻辑推导出来的东西。但在此基础上，可能存在大规模的并行性[^15]。
那么临床试验呢？虽然临床试验确实涉及大量的官僚主义和拖延，但事实是，它们的大多数（虽然不是全部）慢速最终归因于必须严格评估那些效果微弱或效果模糊的药物。遗憾的是，大多数疗法今天的情况正是如此：平均癌症药物可以使生存时间延长几个月，但同时伴有需要仔细测量的显著副作用（阿尔茨海默症药物也有类似的故事）。这导致了庞大的研究（为了实现统计学上的显著性），并且难以做出折衷选择，监管机构通常不擅长做这些复杂决策，因为官僚主义以及利益冲突的复杂性。
当某种疗法效果显著时，审批速度会快得多：有一个加速批准通道，当疗法效果更明显时，审批的难度也会大大降低。COVID-19的mRNA疫苗在9个月内获批——比通常的速度快得多。尽管如此，即使在这些条件下，临床试验仍然太慢——有人认为，mRNA疫苗本应在大约两个月内获批。但这些延迟（例如药物从头到尾1年的开发时间）加上大规模的并行化，并不需要过多的迭代，而只需“一些尝试”，这些都是在5到10年内实现激变性变革的兼容因素。更乐观的是，AI辅助的生物科学可能会通过开发更好的动物和细胞实验模型（甚至模拟）来减少临床试验的迭代需求，这些模型能够更准确地预测人体会发生的情况。对于开发抗衰老药物尤为重要，因为衰老是一个持续几十年的过程，我们需要一个更快的迭代循环。
最后，关于临床试验和社会障碍，值得明确指出的是，在某些方面，生物医学创新在成功部署方面有着异常强大的记录，这与某些其他技术形成了鲜明对比[^16]。如前所述，许多技术虽然在技术上表现良好，但由于社会因素的限制未能得到有效应用。这可能会让人对AI的潜力持悲观态度。但生物医学领域的独特之处在于，尽管开发药物的过程过于繁琐，但一旦开发出来，它们通常会成功部署并使用。
总结以上内容，我的基本预测是，AI辅助的生物学和医学将使我们在5到10年内取得相当于人类生物学家在未来50到100年内本应取得的进展。我将这一过程称为“压缩的21世纪”：强大AI问世后，几年的时间内，我们将在生物学和医学领域取得相当于整个21世纪的进展。
虽然预测强大的AI能在几年内完成什么仍然是非常困难和充满猜测的，但询问“如果人类在接下来的100年内不借助AI能做什么？”却有一些具体的参考依据。简单地回顾20世纪我们取得的成就，或从21世纪头20年的进展进行外推，或者问自己“10个CRISPR和50个CAR-T会带来什么？”都可以为我们提供一些实际且有依据的方式来估算强大AI可能带来的进展。
以下是我尝试列出的一些可能实现的预期。这并不是基于任何严格的科学方法，而且很可能在细节上会出错，但它传达了我们应该对AI进步抱有的那种激进程度：
- 可靠预防和治疗几乎所有自然传染病。鉴于20世纪对传染病的巨大进展，想象我们可以在“压缩的21世纪”中“基本完成这一任务”并不算激进。mRNA疫苗及类似技术已经为“可以针对任何东西的疫苗”指明了方向。是否能完全消除传染病（而不仅仅是在某些地区）取决于贫困和不平等等问题，关于这些问题将在第3节讨论。
- 消除大多数癌症。过去几十年中，癌症的死亡率每年下降约2％；因此，按当前的科学进展速度，我们有望在21世纪消除大多数癌症。某些类型的癌症已经基本治愈（例如，某些类型的白血病通过CAR-T疗法），我对非常有针对性的药物更感兴趣，它们能够在癌症的早期阶段进行精准靶向，防止其发展。AI还将使治疗方案高度个性化，适应癌症个体化的基因组——这些方案在今天是可行的，但在时间和人类专业知识上成本极高，AI应该能够帮助我们扩展这些方案。死亡率和发病率降低95％或更多是有可能的。尽管如此，癌症种类繁多，适应性强，可能是最难彻底消灭的疾病之一。如果某些罕见且难治的恶性肿瘤继续存在，我也不会感到惊讶。
- 非常有效的遗传病预防和治疗。大幅改进的胚胎筛查将使预防大多数遗传病成为可能，某种更安全、更可靠的CRISPR技术可能会治愈现有人群中的大多数遗传病。然而，影响大量细胞的全身性疾病可能是最后的难题。
- 阿尔茨海默病的预防。我们一直很难弄清阿尔茨海默病的病因（它与β淀粉样蛋白有关，但实际的细节似乎非常复杂）。这正是那种可以通过更好的测量工具来解决的问题，这些工具能够隔离生物效应；因此，我对AI解决这一问题的能力持乐观态度。很有可能，通过简单的干预措施就可以最终预防这种疾病，一旦我们真正弄清楚了其机制。尽管如此，逆转已经存在的阿尔茨海默病所造成的损害可能非常困难。
- 其他大多数疾病的改进治疗。这是一个涵盖其他疾病的总括性类别，包括糖尿病、肥胖症、心脏病、自身免疫性疾病等。这些疾病似乎比癌症和阿尔茨海默病“更容易”解决，而且在许多情况下已经在显著下降。例如，心脏病死亡率已经下降了50％以上，简单的干预措施如GLP-1激动剂已经对肥胖症和糖尿病取得了巨大进展。
- 生物自由。过去的70年中，人类在避孕、助孕、体重管理等方面取得了进展。但我怀疑，AI加速的生物学将极大地扩展这些可能性：体重、外貌、生殖能力和其他生物过程将完全由人类自主控制。我们将这些概念归为生物自由：每个人都应该有能力选择自己想要成为什么样的人，并以最吸引他们的方式生活。当然，全球平等获取的重大问题将继续存在；第3节将讨论这些问题。
- 人类寿命延长一倍[^18]。这听起来可能很激进，但20世纪人类的预期寿命几乎翻了一倍（从大约40岁增加到大约75岁），因此“压缩的21世纪”再将其翻倍至150岁是符合趋势的。显然，延缓衰老过程所需的干预措施将不同于上个世纪用于防止（主要是儿童）早逝的措施，但变化的幅度并非史无前例的。具体而言，已经存在能够使大鼠最大寿命延长25-50％且副作用有限的药物。而且一些动物（例如某些类型的海龟）已经可以活到200年，因此人类显然没有达到某种理论上的上限。据推测，最重要的可能是找到可靠的、不受偏差影响的人类衰老生物标记物，因为这将允许快速迭代实验和临床试验。一旦人类寿命达到150岁，我们可能能够实现所谓的“逃逸速度”，为当今大多数人赢得足够的时间，使他们能够活得足够久，直到他们想要结束生命，尽管这是否生物学上可行还不能保证。
我们应该回顾一下这份清单，并思考如果所有这些目标在接下来的7到12年内（与积极的AI时间表一致）实现，世界将会变得多么不同。这毫无疑问将是一场难以想象的人道主义胜利，一次性消除大多数困扰人类几千年的灾难。我的许多朋友和同事正在养育子女，我希望当这些孩子长大后，任何提及疾病的事物对他们而言都像坏血病、天花或黑死病之于我们一样遥远。那一代人还将从增加的生物自由和自我表达中受益，并且如果幸运的话，可能还能够活到他们愿意的任何年龄。
这些变化对那些没有预料到强大AI的人们来说将是多么令人震惊，实在难以估量。比如，成千上万的经济学家和政策专家目前在美国争论如何保持社会保障和医疗保险的可持续性，更广泛来说，还讨论如何控制医疗成本（主要由70岁以上人群，尤其是癌症等终末期疾病患者消耗）。如果上述预测成真，那么这些计划的状况将发生根本性的变化，因为工作年龄人口与退休人口的比例将发生巨大改变。毫无疑问，这些挑战将被新的挑战所取代，例如如何确保新技术的广泛获取，但反思一下即使只有生物学领域的加速成功，也能让世界发生多大的变化是非常有意义的。
神经科学与心智
在前一节中，我重点讨论了身体疾病和生物学的一般领域，但我并没有涉及神经科学或心理健康。然而，神经科学是生物学的一个分支，心理健康与身体健康同样重要。实际上，如果非要区分，心理健康对人类幸福的直接影响甚至比身体健康还要大。成百上千万的人因成瘾、抑郁、精神分裂症、低功能自闭症、创伤后应激障碍（PTSD）、精神病等问题而生活质量极低。还有数十亿人在日常生活中遭受各种问题的困扰，这些问题常常可以看作是这些严重临床疾病的轻微版本。与普通生物学一样，神经科学不仅可以解决这些问题，还可以提升人类体验的基准质量。
我在上一节中提出的基本框架同样适用于神经科学。这个领域的进展往往依赖于少量关键的测量或精确干预工具的发现——在前文中提到的那些技术中，光遗传学（Optogenetics）就是一种神经科学发现，最近的CLARITY和扩展显微技术（expansion microscopy）也是沿着相同方向的进步。此外，许多通用的细胞生物学方法可以直接应用于神经科学。我认为，AI将在神经科学领域加速这些技术的发现，因此“5-10年取得100年进展”的框架同样适用于神经科学，并且理由与生物学领域相同。正如生物学一样，20世纪的神经科学取得了巨大进展——例如，直到20世纪50年代我们才明白神经元是如何以及为何发放信号的。因此，预计AI加速的神经科学能够在几年内迅速取得进展是合理的。
我们还需要补充一个额外的方面：过去几年我们在AI领域学到的一些知识，甚至在神经科学仍由人类主导的情况下，也可能有助于神经科学的进步。可解释性（interpretability）是一个明显的例子：虽然生物神经元在表面上与人工神经元的运作方式完全不同（它们通过尖峰（spike）和尖峰频率（spike rate）进行通信，因此存在人工神经元中没有的时间元素，同时细胞生理和神经递质的诸多细节极大地改变了它们的运作），但“简单单元构成的分布式、训练过的网络如何协同工作以执行重要计算”这个基本问题是相同的，我强烈怀疑，在大多数关于计算和回路的有趣问题中，个体神经元通信的细节将被抽象掉。例如，AI系统中的可解释性研究人员发现的一种计算机制最近在小鼠大脑中也被重新发现。
在人工神经网络上做实验比在真实神经网络上容易得多（后者通常需要切割动物的大脑），因此可解释性可能成为改进我们对神经科学理解的工具。此外，强大的AI可能比人类更能开发和应用这个工具。
除了可解释性之外，关于如何训练智能系统，我们从AI中学到的知识应该（尽管我不确定它是否已经这样做了）引发神经科学的革命。当我从事神经科学工作时，很多人关注的都是我现在会认为是“错误”的学习问题，因为当时“规模假设”或“苦涩的教训”（the scaling hypothesis / bitter lesson）还不存在。简单的目标函数加上大量数据可以驱动复杂行为的事实，使得理解目标函数和结构性偏差比理解计算的细节更有趣。我近年来并没有密切跟踪这个领域，但我隐约感觉到计算神经科学家可能还没有完全吸收这一教训。对我来说，“规模假设”一直是“关于智能如何运作及其为何如此轻松进化的高层解释”，但我不认为这是神经科学家的普遍看法，部分原因是AI领域内对于规模假设作为“智能的秘密”的接受度还不够高。
我认为，神经科学家应该试图将这一基本见解与人类大脑的特殊性结合起来（生物物理限制、进化历史、拓扑结构、运动和感官输入输出的细节），以试图解决神经科学中的一些关键谜题。有些人可能已经在这样做了，但我怀疑还不够，我也相信AI神经科学家将能够更有效地利用这一角度来加速进展。
我预计AI将沿着四条不同的路线加速神经科学的进展，所有这些进展共同努力，能够治愈精神疾病并提高人类认知功能：
- 传统的分子生物学、化学和遗传学。这基本上是与生物学相同的故事，AI很可能通过相同的机制加速这一领域的进展。许多药物通过调节神经递质来改变大脑功能，影响警觉性或感知、改变情绪等，AI可以帮助我们发明更多这类药物。AI还可能加速精神疾病的遗传基础研究。
- 精细的神经测量和干预技术。这是能够精确测量大量单个神经元或神经回路的活动，并干预以改变其行为的技术。光遗传学和神经探针技术能够在活体生物中进行测量和干预，并且有许多非常先进的方法（如分子记录器带，能够读取大量单个神经元的发放模式）已经被提出并在原则上可行。
- 高级计算神经科学。如上所述，现代AI的具体见解和整体方法可能会对系统神经科学中的问题产生重要影响，甚至可能揭示复杂疾病（如精神病或情绪障碍）的真正原因和动态。
- 行为干预。虽然本文的重点主要放在神经科学的生物学方面，但精神病学和心理学在20世纪已经发展出了一整套行为干预方法，AI可以加速这些方法的发展，并帮助患者坚持已有的方法。更广泛地说，“AI教练”这一概念非常有前景，它可以一直帮助你成为更好的自己，研究你的互动并帮助你学会如何更有效地应对生活中的挑战。
我猜测，这四条进展路线协同作用，和身体疾病一样，可能会在接下来的100年内治愈或预防大多数精神疾病，即便没有AI的帮助——因此，在AI的加速下，可能会在5到10年内完成这一目标。具体来说，我猜测可能会发生的情况如下：
- 大多数精神疾病可能会被治愈。我不是精神病学方面的专家（我在神经科学领域的时间主要用于开发研究小群神经元的探针），但我猜测像PTSD、抑郁症、精神分裂症、成瘾等疾病可以通过某种结合上述四种方向的方法得到有效治疗。答案可能是某种“生物化学出了问题”（尽管可能非常复杂）与“神经网络出了问题”（在高层次上）的结合。这是一个系统神经科学的问题——尽管这并不排除行为干预的重要性。对活体人类的测量和干预工具可能会带来快速的迭代和进展。
- 非常“结构性”的疾病可能更难治愈，但并非不可能。有证据表明，精神病可能与明显的神经解剖学差异有关——精神病患者的大脑某些区域可能明显更小或发育不全。精神病患者从小就缺乏共情能力；不管他们的大脑有何不同，这种差异可能一直存在。智力障碍以及某些其他状况可能也是如此。重塑大脑听起来很难，但这也似乎是一个具有高智力回报的任务。也许有某种方法可以将成年大脑引导至一个更早期或更具可塑性的状态，使其能够重新塑造。我对此能否实现非常不确定，但我的直觉是对AI在这方面的发明持乐观态度。
- 有效的基因预防精神疾病似乎是可能的。大多数精神疾病具有部分遗传性，基因组关联研究正在逐渐取得进展，识别相关因素，这些因素通常数量众多。通过胚胎筛查预防大多数这些疾病应该是可能的，类似于物理疾病的情况。一种不同的是，精神疾病更有可能是多基因的，因此由于其复杂性，有更大的风险在不知情的情况下选择对疾病有负相关的正面性状。然而，最近几年的基因组关联研究似乎表明这些相关性可能被夸大了。无论如何，AI加速的神经科学可能会帮助我们弄清这些问题。当然，针对复杂性状的胚胎筛查会引发许多社会问题，并且将具有争议性，但我猜测大多数人会支持筛查严重或衰弱的精神疾病。
- 日常问题也将得到解决。大多数人存在一些日常的心理问题，虽然这些问题通常不被认为达到临床疾病的程度。例如，有些人容易发怒，有些人难以集中注意力或经常感到困倦，有些人害怕或焦虑，或对变化反应不佳。今天已经有药物可以帮助人们提高警觉性或注意力（咖啡因、莫达非尼、利他林），但正如前面提到的其他领域，未来的可能性更大。可能还存在许多未被发现的药物，或者还有全新的干预手段，例如靶向的光刺激（参见上面的光遗传学）或磁场。鉴于我们在20世纪已经开发出许多可以调节认知功能和情绪状态的药物，我对“压缩的21世纪”持非常乐观态度——每个人都能够让自己的大脑表现得更好，拥有更充实的日常体验。
- 人类的基础体验可以更好。更进一步，许多人曾经历过超凡的时刻，诸如启示、创造灵感、慈悲、成就感、超越、爱、美丽或冥想的平静。这些体验的性质和频率因人而异，并且在同一个人身上也会随时间变化，有时这些体验还可以通过某些药物触发（尽管通常伴有副作用）。所有这些都表明“体验的可能性空间”非常广阔，更多的人生时刻可以由这些非凡的体验构成。此外，各种认知功能也可以在整体上得到提升。这或许是神经科学版的“生物自由”或“延长寿命”。
在科幻作品中，AI常常与“意识上传”（mind uploading）相关联，即捕捉人类大脑的模式和动态，并将其转化为软件。我有意没有在此讨论这一话题，这个话题本身可以写一篇单独的文章。简而言之，我认为上传意识在原则上几乎肯定是可能的，但在实践中，即使是强大的AI，技术和社会上的挑战也很大，可能需要更长的时间来实现，因此不太可能在我们讨论的5到10年时间范围内实现。
总结来看，AI加速的神经科学很可能大幅改善精神疾病的治疗，甚至可能治愈大多数精神疾病，同时极大拓展人类的“认知与心理自由”，并提升认知和情感能力。这将与上一节中描述的身体健康改善一样激进。也许外部世界不会有明显变化，但人类对世界的体验将变得更美好、更具人性，同时也会提供更多自我实现的机会。我还怀疑，心理健康的改善将有助于缓解许多其他社会问题，包括一些看似政治或经济问题的现象。
经济发展与贫困
前两节讨论了开发新技术来治愈疾病并改善人类生活质量。然而，从人道主义的角度来看，一个显而易见的问题是：“每个人都能获得这些技术吗？”
开发出一种治疗方法是一回事，但将这种疾病从世界上根除又是另一回事。更广泛地说，许多现有的医疗干预措施还没有在全球范围内得到应用，实际上，许多（非健康类的）技术进步在世界范围内的普及也存在差距。换句话说，世界上许多地方的生活水平仍然非常贫困：撒哈拉以南非洲的人均GDP约为2000美元，而美国的人均GDP约为7.5万美元。如果AI进一步提高了发达国家的经济增长和生活质量，却未能对发展中国家产生类似的帮助，那么我们应该将其视为一个巨大的道德失败，并为之前两节所描述的人道主义胜利蒙上阴影。理想情况下，强大的AI不仅应当在发达国家掀起变革，还应当帮助发展中国家缩小与发达国家的差距。
我并不像确信AI能够发明基本技术那样确信它能够解决不平等和促进经济增长，因为技术具有明显的高智力回报（包括绕过复杂性和数据缺乏的能力），而经济则涉及许多来自人类的限制因素，以及大量固有的复杂性。我对AI是否能解决著名的“社会主义计算问题”[^23] 持怀疑态度，我也不认为政府会（或应该）将经济政策交给这样一个实体，即使它能做到。此外，还有如何说服人们接受有效但可能会被他们怀疑的治疗等问题。
发展中国家面临的挑战由于公共和私人领域的普遍腐败而变得更加复杂。腐败导致了恶性循环：它加剧了贫困，而贫困又滋生更多腐败。AI驱动的经济发展计划需要正视腐败、脆弱的制度和其他非常人性化的挑战。
尽管如此，我仍然看到一些乐观的理由。许多疾病已被根除，许多国家从贫困走向富裕，显然这些任务的决策展现了高智力回报（尽管受到人类限制和复杂性的影响）。因此，AI很可能能比人类做得更好。也可能有一些针对性干预措施，可以绕过人类的限制，并且AI能够专注于这些措施。更重要的是，我们必须努力。AI公司和发达国家的政策制定者都必须尽其所能，确保发展中国家不被落下；这是一个重大的道德责任。鉴于此，在这一节中，我将继续做出乐观的论述，但请记住，成功并不保证，取决于我们的集体努力。
下面我做一些猜测，描述我认为在强大的AI问世后5到10年内，发展中国家可能会发生的情况：
全球健康干预的分配
我最为乐观的领域之一是将健康干预措施分配到全球各地。历史上，疾病确实通过自上而下的运动得以根除：天花在20世纪70年代被彻底消灭，脊髓灰质炎和几内亚虫病几乎被根除，每年只有不到100例病例。复杂的流行病学模型在疾病根除运动中发挥了积极作用，而AI系统比人类做得更好似乎是很有可能的。物流分配问题也可以大大优化。我作为GiveWell的早期捐赠者学到的一点是，某些健康慈善组织的效果远远好于其他组织；希望AI加速的努力能做得更有效。此外，某些生物技术进步实际上使分配的物流更简单：例如，疟疾一直难以根除，因为每次感染该病都需要治疗；但一种只需接种一次的疫苗将使物流更简单（而此类疟疾疫苗目前正在开发中）。甚至更简单的分配机制也是可能的：原则上，一些疾病可以通过针对其动物宿主进行干预来根除。例如，释放携带某种细菌的蚊子，这种细菌阻止它们携带疾病（这些蚊子随后会感染其他蚊子），或者简单地使用基因驱动技术消灭蚊子。这只需要一两次集中行动，而不是必须对数百万人进行协调的运动。总的来说，我认为5到10年是一个合理的时间线，用来让一部分AI驱动的健康益处传播到全球最贫困的国家。一个不错的目标可能是在强大的AI问世5到10年后，发展中国家至少要比今天的发达国家更健康，尽管它可能仍然落后于发达国家。实现这一目标当然需要在全球健康、慈善事业、政治倡导和许多其他方面进行巨大的努力，AI开发者和政策制定者应该共同努力。
经济增长
发展中国家能否快速赶上发达国家，不仅仅是在健康领域，还包括经济上的全面发展？对此有一些先例：在20世纪的最后几十年，几个东亚经济体实现了持续10%的年均实际GDP增长率，使它们赶上了发达国家。这些成功是由人类经济规划者做出的决策推动的，他们不是通过直接控制整个经济，而是通过拉动一些关键的政策杠杆（例如以出口为导向的增长工业政策，抵制依赖自然资源财富的诱惑）；如果有AI财政部长和央行行长，有可能复制或超过这一10%的成就。一个重要问题是如何在尊重自决权的前提下，推动发展中国家政府接受它们——有些国家可能会热情拥抱它们，但其他国家可能会持怀疑态度。乐观的一面是，前文提到的许多健康干预措施可能会自然而然地推动经济增长：消灭艾滋病/疟疾/寄生虫病将对生产力产生变革性影响，更不用说某些神经科学干预措施（如改善情绪和专注力）将在发达国家和发展中国家同样产生的经济效益了。最后，非健康领域的AI加速技术（例如能源技术、运输无人机、改进的建筑材料、更好的物流和分配等）可能会自然而然地渗透到全球各地。例如，即使没有慈善努力，手机也通过市场机制迅速在撒哈拉以南非洲普及。负面的一面是，尽管AI和自动化有许多潜在好处，但它们也给经济发展带来了挑战，尤其是对于尚未实现工业化的国家。在自动化日益普及的时代，确保这些国家能够继续发展和改善经济是经济学家和政策制定者需要解决的一个重要问题。总体而言，一个理想的场景——或许是一个值得追求的目标——是发展中国家实现20%的年GDP增长率，其中10%来自AI支持的经济决策，另外10%来自AI加速技术的自然传播，包括但不限于健康。如果实现了这一目标，这将使撒哈拉以南非洲在5到10年内达到中国当前的人均GDP水平，同时使其他发展中国家的人均GDP超过当前的美国水平。当然，这是一个理想场景，不是默认发生的事情：这是我们大家必须共同努力争取的。
粮食安全
20世纪通过更好的肥料和杀虫剂、更多的自动化和更高效的土地利用大幅提高了作物产量，拯救了数百万人免于饥饿。基因工程目前正在进一步改良许多作物。找到更多方式来改进作物技术以及提高农业供应链的效率，可以为我们带来一个AI驱动的第二次绿色革命，帮助缩小发展中国家与发达国家的差距。
减缓气候变化
气候变化将在发展中国家感受得更为强烈，并且会阻碍其发展。我们可以预计，AI将促进技术进步，从而减缓或防止气候变化，包括大气碳移除、清洁能源技术以及减少对碳密集型工厂化农业依赖的实验室培育肉类。当然，正如前文所述，技术并不是阻碍气候变化进展的唯一因素——与所有讨论过的问题一样，人类的社会因素也很重要。但有充分的理由相信，AI增强的研究将为我们提供减缓气候变化所需的手段，使这一过程的成本和破坏性大大降低，从而消除许多反对意见，并使发展中国家得以实现更多经济进步。
国家内部的不平等
我主要讨论的是全球不平等现象（我确实认为这是不平等最重要的表现形式），但国家内部当然也存在不平等现象。随着先进健康干预措施的普及，尤其是预期寿命急剧延长或认知增强药物的使用，毫无疑问，人们会担心这些技术“只为富人服务”。然而，我对国内不平等问题，尤其是在发达国家，持更乐观态度，原因有二。首先，发达国家的市场运作更好，市场通常能够随着时间的推移降低高价值技术的成本[^25]。其次，发达国家的政治制度对公民的回应更灵敏，并且在执行全民接入计划上有更强的国家能力——我预计公民们会要求获得那些能够如此显著改善生活质量的技术。当然，不能预先假定这些需求会成功——在这里，我们也必须共同努力，确保一个公平的社会存在。在不平等的财富分配问题上（而不是不平等的获取救命和提升生活质量的技术），这个问题似乎更加棘手，我将在第5节中讨论这个问题。
选择退出的问题
在发达国家和发展中国家，人们选择放弃AI支持的技术（类似于反疫苗运动或更普遍的反科技运动）可能会导致人们担心产生一种不良反馈循环。例如，最难做出好决策的人选择放弃那些能够提升决策能力的技术，从而导致差距不断扩大，甚至产生一个反乌托邦式的下层阶级（一些研究人员认为这将削弱民主，我将在下一节进一步讨论这一话题）。如果AI的积极进步确实造成这种情况，这将再次给人道主义的胜利蒙上阴影。解决这一问题很难，因为我认为不可以强迫人们接受某些技术，但我们至少可以努力提高人们的科学理解——或许AI本身可以帮助我们做到这一点。一个值得期待的积极信号是，历史上的反技术运动通常是雷声大雨点小：虽然反对现代技术的声音很大，但大多数人最终还是会采用它，至少当涉及到个人选择时。个体往往采用大多数健康和消费技术，而真正受阻的技术，如核能，通常是集体的政治决策。
总体而言，我对迅速将AI的生物学进步带到发展中国家感到乐观。我对AI是否能推动前所未有的经济增长并使发展中国家至少超越发达国家目前的发展水平抱有希望，尽管没有十足的信心。我担心“选择退出”问题在发达国家和发展中国家都会出现，但我认为这一问题最终会消退，并且AI可以帮助加速这个过程。这个世界不会是一个完美的世界，落后的人可能在前几年内不会完全赶上发达国家。但如果我们做出足够努力，我们可以使事情朝着正确的方向发展——并且速度很快。如果我们这样做，我们将能够兑现给予每一个地球人的尊严和平等承诺的首付款。
和平与治理
假设前三节中的一切都进展顺利：疾病、贫困和不平等得到了显著的缓解，人类的基本生活水平得到了显著提升。但这并不意味着所有导致人类痛苦的主要原因都已解决。人类之间的威胁仍然存在。尽管技术进步和经济发展总体上倾向于促进民主与和平，但这只是一个非常松散的趋势，并且常常会出现反复倒退。在20世纪初，人们曾以为战争已经远去，然而两次世界大战随之而来。30年前，弗朗西斯·福山（Francis Fukuyama）撰写了《历史的终结》，预言自由民主的最终胜利，但这一预测至今尚未实现。20年前，美国的政策制定者相信与中国的自由贸易会随着经济的增长促使其自由化，然而事实并非如此，我们现在似乎正在步入第二次冷战，与重新崛起的威权主义阵营对峙。更有理论表明，互联网技术实际上可能更有利于威权主义，而不是人们最初在“阿拉伯之春”时期所相信的那样促进民主。因此，重要的是我们要努力理解强大的AI与这些关于和平、民主和自由的问题之间的关系。
不幸的是，我并没有强有力的理由相信AI会优先或系统性地推动民主与和平，正如我相信AI会系统性地推动人类健康和减轻贫困那样。人类的冲突是对抗性的，原则上，AI可以帮助“好人”也可以帮助“坏人”。事实上，有些结构性因素令人担忧：AI可能会促进更好的宣传和监控，而这些正是独裁者的两大工具。因此，问题的关键在于，我们作为个体行动者，必须尽力将事情引向正确的方向：如果我们希望AI支持民主和个人权利，我们必须为这一结果而奋斗。我对此的感觉甚至比国际不平等问题更加强烈：自由民主的胜利和政治稳定并非板上钉钉，甚至可能不太可能，它需要我们像过去一样做出巨大的牺牲和承诺。
我将问题分为两个部分：国际冲突和国家内部的治理结构。在国际方面，确保当强大的AI问世时，民主国家在全球舞台上占据主导地位似乎至关重要。AI支持的威权主义前景过于可怕，令人不敢想象。因此，民主国家必须能够主导强大AI的推出方式，既要防止被威权国家超越，又要避免在威权国家内发生侵犯人权的行为。
我目前的猜测是，通过“协约策略”[^26]，民主国家之间结成联盟，寻求在强大AI上获得明确的优势（即使只是暂时的），是实现这一目标的最佳途径。这个联盟应当确保其供应链安全，迅速扩大规模，并阻止或延迟对手获取关键资源，如芯片和半导体设备。这个联盟一方面通过AI获得稳固的军事优势（“大棒”），同时提供强大AI带来的益处（“胡萝卜”）给越来越多的国家，以换取他们支持联盟的民主促进战略（这有点类似于“和平原子”计划）。该联盟的目标是赢得越来越多的国家支持，将我们的最糟糕的对手孤立起来，最终使他们处于一种位置：他们最好与世界其他国家一样，放弃与民主国家的竞争，以便享有所有的益处，并避免与实力更强的对手交战。
如果我们能够做到这一点，我们将生活在一个由民主国家主导的世界中，它们拥有足够的经济和军事力量，避免被威权主义国家颠覆、征服或破坏，并可能将它们的AI优势转化为持久的优势。乐观地看，这可能导致一个类似“永恒的1991年”——一个民主国家占据上风的世界，福山所预言的梦幻世界得以实现。再强调一次，这将非常困难，特别是需要私人AI公司与民主政府之间的密切合作，以及在胡萝卜与大棒之间做出极为明智的决策。
即便这一切进展顺利，也仍然存在民主与威权主义在各国内部的斗争问题。对此我们无法做出精确预测，但我确实对以下几个方面持有一定的乐观态度：如果全球环境是由民主国家主导强大AI的发展，那么AI可能在结构上有利于全球范围内的民主。特别是在这种环境下，民主国家可以利用其优越的AI赢得信息战：它们能够反击威权国家的影响力与宣传行动，甚至可能通过提供全球自由的信息环境，提供无法被威权国家技术封锁或监控的AI服务。可能并不需要发布宣传，只需对恶意攻击进行反击，并解除信息流通的封锁。在这种环境下，全球治理有可能逐步向民主方向倾斜，原因有如下几个：
首先，生活质量的提高（前文第1至第3节提到的改进）通常会促进民主：历史上，在某种程度上确实如此。特别是，我预计心理健康、福祉和教育的改善将提高对民主的支持，因为这三者与支持威权领导人的情感负相关。总的来说，当人们的其他需求得到满足时，他们更希望获得自我表达的权利，而民主在某种程度上也是一种自我表达的形式。相反，威权主义依赖于恐惧和怨恨。
其次，只要威权国家无法审查自由信息，自由信息确实有很大的机会削弱威权主义。而且，未被审查的AI还可以为个人提供有力的工具，帮助他们削弱压制性政府。压制性政府通过拒绝某种形式的共同知识得以生存，阻止人们意识到“皇帝没有穿衣服”的事实。例如，斯尔扎·波波维奇（Srđa Popović）帮助推翻了米洛舍维奇政府，他广泛撰写了关于如何在心理上剥夺威权者权力的技术，以打破他们的神话并聚集支持者反对独裁者。如果每个人口袋里都有一个超级有效的AI版波波维奇（他的技能似乎具有极高的智力回报），而独裁者又无力封锁或审查它，这将为全球范围内的异见人士和改革者提供巨大的推动力。再重申一遍，这将是一场漫长而艰苦的斗争，胜利并非唾手可得，但如果我们设计和构建AI的方式正确，它至少可能是一场自由倡导者占据优势的战斗。
如同神经科学和生物学，我们还可以问，事情是否可能“超出正常情况”，不仅仅是如何避免威权主义，还可以如何使现有的民主制度更好。即使在民主国家，诸多不公仍然时有发生。法治社会向公民承诺每个人都将在法律面前平等，每个人都应享有基本人权，但显然，这些权利并不总是在实践中得到保障。这一承诺的部分实现已经是一件值得骄傲的事情，但AI能否帮助我们做得更好？
例如，AI能否通过更加公正的决策和流程改进我们的法律和司法系统？目前人们在法律或司法背景中最担心的是AI系统会导致歧视，这些担忧是重要的，且需要加以防范。但与此同时，民主的活力取决于是否能够利用新技术改善民主制度，而不仅仅是应对风险。真正成熟和成功的AI实施有潜力减少偏见，使系统对每个人都更加公平。
几个世纪以来，法律制度面临的两难困境是：法律的目标是公正的，但它本质上是主观的，因此必须由存在偏见的人类进行解释。试图使法律完全机械化是行不通的，因为现实世界是复杂的，不能总是被数学公式所捕捉。因此，法律制度依赖于臭名昭著的模糊标准，如“残忍和不寻常的惩罚”或“毫无 redeeming社会意义”，然后由人类解释——但这些解释往往表现出偏见、偏袒或随意性。加密货币中的“智能合约”未能彻底改变法律，因为普通代码还不够聪明，无法裁决很多具有实际意义的事物。但AI可能够聪明：它是第一个能够广泛做出模糊判断，并以可重复且机械的方式处理复杂现实世界的技术。
我并不是在建议我们用AI系统取代法官，但将公正性与理解和处理复杂现实世界情况的能力相结合，似乎应该在法律和司法领域有一些重要的积极应用。至少，这样的系统可以与人类一起工作，作为决策的辅助工具。透明性在任何这样的系统中都至关重要，成熟的AI科学可能会提供这种透明性：这些系统的训练过程可以被广泛研究，并可以通过先进的可解释性技术查看模型内部，以评估其是否存在隐藏的偏见，这些是我们无法在对人类进行评估时做到的。此类AI工具还可以用于监控司法或警察背景下是否存在基本权利的侵犯，使宪法的自我执行性更强。
类似地，AI可以用于汇集公民的意见并推动共识，解决冲突、寻找共同点、寻求妥协。计算民主项目已经在这一方向进行了一些早期探索，包括与Anthropic的合作。一个更有见识和深思熟虑的公民群体显然将加强民主制度。
还有一个明确的机会是，AI可以用于帮助提供政府服务——例如，理论上每个人都可以享有的但实际上往往严重缺乏的社会服务，且在某些地方比其他地方更糟。这包括医疗服务、车管所（DMV）、税务、社会保障、建筑规范执行等。拥有一个非常体贴且信息丰富的AI，其工作是确保你获得政府按法律规定你应得的一切，并且以你能理解的方式解释，同时还帮助你遵守通常让人困惑的政府规定，这将是一件大事。提高国家能力不仅有助于实现法律面前人人平等的承诺，还加强了对民主政府的尊重。糟糕的服务实施目前是造成政府冷漠情绪的一个主要原因[^27]。
所有这些想法都多少有些模糊，正如我在本节开头所说，我对它们的可行性远不如对生物学、神经科学和扶贫的进步抱有信心。这些想法可能过于乌托邦式的理想化。但重要的是拥有一个雄心勃勃的愿景，愿意敢于梦想并尝试新的事物。AI作为自由、个人权利和平等法治的捍卫者这一愿景过于强大，不容忽视。一个21世纪AI支持的政体既可以是更强大的个人自由捍卫者，也可以是全球范围内希望自由民主成为普遍治理形式的希望灯塔。
工作与意义
即使前面四节中的所有目标都实现了——不仅我们消除了疾病、贫困和不平等，甚至自由民主也成为了主导的政府形式，并且现有的自由民主国家变得更好——至少还会有一个重要问题留存。“我们的世界虽然技术先进、充满公正与体面的氛围，”有人可能会反驳道，“但在AI无处不在的时代，人类如何找到意义？更不用说他们如何在经济上生存？”
我认为这个问题比前面提到的其他问题更加复杂。我并不是说我对这个问题比其他问题更悲观（尽管我确实看到一些挑战），而是说这个问题更加模糊，难以提前预测，因为它涉及如何组织社会的宏观问题，而这些问题往往只有随着时间的推移，通过去中心化的方式自行解决。例如，历史上的狩猎采集社会可能会认为，生活在没有狩猎及其相关宗教仪式的环境中是没有意义的，可能认为我们机械化社会中的富裕生活缺乏目的感。他们可能也无法理解我们的经济如何养活每个人，或人们在机械化社会中能有什么用处。
尽管如此，仍然值得对此发表一些见解，尽管这些见解是有限的。请注意，这部分篇幅较短，并不意味着我不重视这些问题——相反，这反映了我在这些问题上缺乏明确的答案。
关于“意义”问题，我认为仅仅因为AI能比你更好地完成任务就认为你的工作没有意义，这是一个严重的错误。大多数人并不是世界上最优秀的某个领域的专家，但这并不会对他们造成特别大的困扰。当然，今天人们可以通过比较优势继续做出贡献，并从自己创造的经济价值中获得意义感，但人们也同样热衷于从不产生经济价值的活动中找到乐趣。我花大量时间玩电子游戏、游泳、在外面散步、与朋友交谈，这些都不产生任何经济价值。我可能会花一整天的时间试图提高游戏水平，或者在骑自行车上山时提高速度，而事实上，这些任务中总有人比我做得更好，但这并不会真正影响我。我认为意义更多来自于人际关系和人与人之间的连接，而非经济劳动。人们确实需要成就感，甚至竞争感，而在后AI时代，人们完全可以花数年时间去尝试一些非常困难的任务，并采用复杂的策略，类似于今天人们投入研究项目、试图成为好莱坞演员或创办公司的过程。这些任务中存在的两个事实——(a) AI在某处可以做得更好，(b) 这些任务不再是全球经济体系中被经济回报激励的内容——我认为对大多数人来说影响不大。
经济问题实际上比“意义问题”更困难。在本节中，我所说的“经济问题”是指大多数或所有人类可能无法在AI驱动的高度发达经济中作出有意义贡献的潜在问题。这比第3节中讨论的不平等问题更为宏观，尤其是关于获取新技术的不平等问题。
首先，在短期内，我同意比较优势的逻辑：人类将继续在劳动中保持相关性，事实上，他们的生产力可能会因此大幅提高，甚至在某些方面使人与人之间的差距缩小。只要AI在某个任务中只比人类好90%，其余的10%就会让人类具有更高的杠杆作用，提高薪酬，事实上也会创造出许多新的与AI互补的人类工作岗位，使这“10%”得以扩大，继续雇佣几乎所有人。事实上，即便AI能够在100%的任务上优于人类，但如果AI在某些任务上效率较低或成本较高，或者人类和AI所需的资源输入存在显著差异，那么比较优势的逻辑仍然适用。一个领域中，人类可能会在相当长的时间内保持相对（甚至绝对）的优势，那就是物理世界。因此，我认为即便在我们达到“数据中心中的天才之国”之后的某个节点，人类经济仍然有可能继续正常运作。
然而，我确实认为，从长远来看，AI将变得如此广泛且成本如此低廉，以至于比较优势将不再适用。到了这个时候，我们当前的经济结构将不再合理，需要进行更广泛的社会讨论，讨论经济应该如何组织。
虽然这听起来可能很疯狂，但事实上，人类文明已经成功应对了几次重大经济变革：从狩猎采集转向农业，从农业转向封建主义，从封建主义转向工业化。我怀疑我们需要一种新的、甚至更加陌生的经济模式，而今天没有人能很好地预见它。这可能简单到大规模的全民基本收入，尽管我怀疑这只会是解决方案的一部分。也可能是一个由AI系统主导的资本主义经济，这些AI系统会将资源（会有大量资源，因为整体经济规模将极其庞大）分配给人类，基于某种最终源自人类价值观的判断标准。也许，经济会基于Whuffie分数（一种基于声誉的虚拟货币）。或者，也许人类在某种尚未被现有经济模型预测的方式中依然会保持经济价值。所有这些解决方案都有大量潜在问题，在没有经过大量迭代和实验之前，无法确定它们是否合理。正如其他挑战一样，我们可能需要努力争取一个好的结果：显然，剥削性或反乌托邦的方向也是可能的，必须加以防范。关于这些问题的讨论还可以写很多内容，我希望在未来某个时候能对此进行更详细的探讨。
总结
在上面讨论的多个主题中，我试图描绘出一个世界的愿景：如果一切顺利，强大的AI将带来一个比当今世界更加美好的未来。我不知道这个世界是否现实可行，即使可行，若要实现，也将需要无数勇敢且有奉献精神的人付出巨大努力。每个人（包括AI公司）都需要尽其所能，既要防范风险，也要充分实现这些潜在益处。
但这是一个值得为之奋斗的世界。如果这一切真的在5到10年内发生——大多数疾病被消除，生物和认知自由得到增长，数十亿人摆脱贫困，共享新技术，自由民主和人权的复兴——我怀疑每个人都会为这场变革的影响感到惊讶。我并不是指个人享受新技术带来的好处，尽管这无疑会令人惊叹。我是指看到一个长期持有的理想一瞬间在我们面前成真，这一过程会让许多人感动至深。
在撰写这篇文章的过程中，我注意到了一种有趣的矛盾。从某种意义上说，这里描绘的愿景极具激进性：几乎没有人预料到这些事情会在未来十年内发生，许多人可能会认为这是荒谬的幻想。也许有些人甚至不认为这是一个值得追求的愿景；它体现了不为所有人所接受的价值观和政治选择。但与此同时，某种显而易见、理所当然的感觉也贯穿其中——许多不同的试图设想美好世界的努力最终不可避免地通向这里。
在伊恩·M·班克斯（Iain M. Banks）的《游戏玩家》[^29]中，主人公（来自一个被称为“文化”的社会，其原则与我在此描述的类似）前往一个压迫性的、军事化的帝国，帝国的领导者通过在一场复杂的对战游戏中竞争产生。然而，这场游戏足够复杂，玩家的策略往往反映了他们自身的政治和哲学观念。主人公击败了皇帝，展示了他的价值观（“文化”的价值观）即使在一个由残酷竞争和适者生存原则设计的游戏中，也是一个制胜策略。Scott Alexander的一篇著名博文也有同样的观点——即竞争自我毁灭，最终导致了基于同情心和合作的社会。另一类似概念是“道德宇宙的弧线”。
我认为，“文化”的价值观之所以是一种制胜策略，是因为它们汇聚了无数个清晰的道德力量所促成的决定，这些决定共同将每个人拉到同一边。人类的基本直觉，如公平、合作、好奇心和自主性，很难与之争论，并且它们具有累积效应，往往会胜过我们的破坏性冲动。很容易说服人们认为，如果我们可以预防，儿童不应该死于疾病；从这一点出发，再进而说所有儿童应享有同样的权利也并不难。再从这里出发，我们可以顺理成章地认为，大家应该团结起来，运用我们的智慧来实现这一结果。很少有人会反对这样一个观点：人们不应该毫无必要地攻击或伤害他人，并且从这一点推导出惩罚应该对所有人一致且系统化的想法也并不困难。同样，自主权和对自己生活的选择权也是人们的直觉追求。这些简单的直觉，如果被推至逻辑上的终极，将最终导向法治、民主和启蒙价值观。即便这一过程并非必然，至少作为一种统计趋势，人类已经朝这个方向前进。AI只不过是提供了加速这一过程的机会，使得逻辑更加清晰，目的地更加明确。
尽管如此，这仍是一件充满超凡之美的事情。我们有机会在这一伟大的变革中扮演某个小角色，使它成为现实。
感谢Kevin Esvelt、Parag Mallick、Stuart Ritchie、Matt Yglesias、Erik Brynjolfsson、Jim McClave、Allan Dafoe以及Anthropic团队的许多人对本文草稿的审阅。
致 2024 年诺贝尔化学奖的获奖者，感谢你们为我们指明了方向。
脚注
- https://allpoetry.com/All-Watched-Over-By-Machines-Of-Loving-Grace ↩
- 我确实预料到少部分人的反应可能是“这很温和”。用推特的语言来说，我觉得这些人需要“接触现实”。但更重要的是，从社会角度来看，温和是好事。我认为社会能承受的变革是有限的，而我所描述的变化速度大概接近社会在不发生极端动荡的情况下所能吸收的极限。 ↩
- 我觉得AGI是一个不精确的术语，带有太多科幻色彩和炒作成分。我更喜欢“强大AI”或“专家级科学与工程”，这些词语更准确地表达了我的意思，而不带有过度宣传。 ↩
- 在本文中，我使用“智能”来指代一种广泛的解决问题的能力，能够应用于不同领域。这包括推理、学习、规划和创造力等能力。虽然我在整篇文章中将“智能”作为一个简略术语，但我承认，智能的本质是一个复杂且存在争议的课题，无论是在认知科学还是AI研究领域。一些研究者认为，智能并非单一统一的概念，而是多个独立的认知能力的集合。另一些人则认为，存在一种影响各种认知技能的通用智能因素（g因子）。但这场辩论暂且不展开。 ↩
- 这是目前AI系统的大致速度——例如，它们可以在几秒钟内读完一页文本，并在大约20秒内写出一页文本，这比人类做这些事情的速度快10到100倍。随着模型规模的增大，这个速度会变慢，但芯片性能的提升又会加快速度；迄今为止，这两种效应大致相互抵消。 ↩
- 这似乎是个稻草人观点，但像泰勒·科文（Tyler Cowen）和马特·伊格莱西亚斯（Matt Yglesias）这样的深思熟虑者已将其作为一个严肃的担忧提出来（尽管我不认为他们完全持这种观点），我认为这种担忧并非荒谬。 ↩
- 我知道与此问题最接近的经济学工作是关于“通用技术”和“无形投资”的研究，这些无形投资是通用技术的补充。 ↩
- 这种学习可以包括临时的上下文学习，或传统的训练；两者都受制于物理世界的速度限制。 ↩
- 在混沌系统中，微小的误差会随着时间的推移呈指数增长，因此，即使计算能力大幅提升，预测的准确性提高也非常有限，而实际上测量误差可能进一步降低这一效果。 ↩
- 另一个因素当然是，强大的人工智能本身可能被用来创造更强大的AI。我假设这种情况可能（实际上，很可能）发生，但其影响可能没有人们想象的那么大，正因为存在“智能的边际回报递减”问题。换句话说，AI的智能水平会迅速提高，但其影响最终会受到非智能因素的限制，因此分析这些非智能因素才是决定AI之外科学进步速度的关键。 ↩
- 这些成就对我产生了深远影响，也许是AI用于转变生物学领域最强有力的现有例子。 ↩
- “科学进步依赖于新技术、新发现和新思想，顺序大概就是这样。” ——悉尼·布伦纳（Sydney Brenner） ↩
- 感谢帕拉格·马利克（Parag Mallick）提出这一观点。 ↩
- 我不想在正文中加入过多关于AI推动的科学未来发现的猜想，但以下是一些可能的脑暴想法： — 设计出更好的计算工具，例如AlphaFold和AlphaProteo，这些工具能够加速我们开发专门的AI计算生物学工具的能力。 — 更高效、更具选择性的CRISPR技术。 — 更先进的细胞疗法。 — 材料科学和微型化突破，带来更好的植入设备。 — 更好地控制干细胞、细胞分化和去分化，从而能够再生或重塑组织。 — 更好地控制免疫系统：有选择性地激活它以对抗癌症和传染病，有选择性地关闭它以应对自身免疫疾病。 ↩
- 人工智能当然也可能帮助更明智地选择实验项目：改善实验设计，从第一轮实验中学到更多，以便第二轮实验可以更精确地集中在关键问题上，等等。 ↩
- 感谢马修·伊格莱西亚斯（Matthew Yglesias）提出这一观点。 ↩
- 快速进化的疾病，比如多药耐药菌株，基本上将医院用作进化实验室，持续增强其对治疗的抵抗力，这类疾病可能特别难以应对，可能会阻止我们达到100%的目标。 ↩
- 请注意，我们可能很难在5-10年内知道人类寿命是否翻倍。虽然我们可能已经实现了这一目标，但在研究时间框架内可能还未意识到。 ↩
- 尽管明显存在生物学差异，治愈疾病和减缓衰老过程本质上不同，但我愿意从更宏观的统计趋势来看待这一问题，并说“尽管细节不同，但我认为人类科学可能会继续这一趋势；毕竟，任何复杂事物的平滑趋势都是由非常异质的组成部分累加而成的。” ↩
- 例如，据我了解，如果年生产率增长率提高1%甚至0.5%，将会对相关计划的预测产生变革性影响。如果本文中讨论的想法得以实现，生产率增长可能远远超过这一水平。 ↩
- 媒体喜欢描绘高地位的精神病患者，但平均而言，精神病患者可能是一个经济前景不佳且自控能力较差的人，他们通常会在监狱中度过大量时间。 ↩
- 我认为这有点类似于我们从可解释性研究中学到的许多（但可能不是全部）结果，即使我们当前的人工神经网络的一些架构细节（例如注意力机制）发生了变化或被替换，这些结果仍然是相关的。 ↩
- 我怀疑这有点像一个经典的混沌系统——充满了无法消除的复杂性，必须以大多数情况下去中心化的方式进行管理。不过，正如我在本节后面提到的，可能会有更温和的干预措施。经济学家埃里克·布林约尔松（Erik Brynjolfsson）向我提出的反驳是，大型公司（如沃尔玛或优步）已经开始拥有足够的集中知识，以至于比任何去中心化过程更好地理解消费者，或许迫使我们修正哈耶克关于谁拥有最佳本地知识的见解。 ↩
- 感谢凯文·埃斯维尔特（Kevin Esvelt）提出这一观点。 ↩
- 例如，手机最初是富人的技术，但随着年复一年的改进，它们变得非常便宜，以至于购买“奢侈”手机几乎没有优势，如今大多数人拥有的手机质量相差无几。 ↩
- 这是RAND即将发表的一篇论文的标题，概述了我在此描述的策略。 ↩
- 当普通人想到公共机构时，他们可能会想到与DMV、IRS、医保等的经历。改善这些体验，令其比现在更为积极，似乎是一种强有力的方式来对抗不必要的愤世嫉俗情绪。 ↩
- 确实，在一个人工智能主导的世界中，类似挑战和项目的范围将远远超过今天。 ↩
- 我在这里打破了自己不提科幻的规则，但我发现很难不提到它。事实上，科幻是我们为数不多的关于未来的扩展性思想实验来源之一。我认为科幻与某一特定亚文化紧密纠缠在一起，这说明了一些不好的现象。 ↩