本文转自： https://linguista.bearblog.dev/the-gentle-singularity/
仅做个人收藏，版权归原作者所有
温和的奇点
- Sam Altman
- 原文链接：The Gentle Singularity
我们已经越过事件视界；起飞已经开始。人类即将构建出数字超级智能，而至少到目前为止，它远没有看起来那么怪异。
机器人尚未遍布街头，我们大多数人也还没有整天与人工智能对话。人们依旧会因疾病而逝，我们仍然无法轻易进入太空，宇宙中仍有许多我们不理解的奥秘。
然而，我们最近已经构建出在许多方面比人类更聪明的系统，并且能够显著放大使用者的产出。工作中曾被认为最不可能实现的部分已经过去；那些让我们得以开发出像GPT-4和o3这样系统的科学洞见来之不易，但它们将引领我们走得更远。
人工智能将在许多方面为世界做出贡献，但通过推动科学更快进步和提高生产力带来生活质量的提升将是巨大的；未来可以远胜于现在。科学进步是整体进步的最大驱动力；思考我们还能拥有多少，这非常令人兴奋。
从某种重要意义上说，ChatGPT 已经比历史上任何人类都更强大。每天有数亿人依赖它处理日益重要的任务；一项微小的新功能就能产生巨大的积极影响；一个微小的失准乘以数亿人，就可能造成巨大的负面影响。
2025年见证了能够完成真正认知工作的智能体的出现；计算机编码将因此彻底改变。2026年可能会出现能够发现新颖见解的系统。2027年可能会出现能够在现实世界中执行任务的机器人。
更多的人将能够创作软件和艺术。但世界对这两者的需求都很大，只要专家们拥抱新工具，他们可能仍会比新手出色得多。总的来说，一个人在2030年能完成的工作量远超2020年，这将是一个显著的变化，许多人会想办法从中受益。
在最重要的方面，2030年代可能不会有天翻地覆的差异。人们仍会爱自己的家人，表达自己的创造力，玩游戏，在湖中游泳。
但在同样非常重要的方面，2030年代可能会与以往任何时代都截然不同。我们不知道我们能超越人类智能多远，但我们即将找到答案。
在2030年代，智能和能源——即思想，以及将思想变为现实的能力——将变得极其充裕。这两者长期以来一直是人类进步的根本限制因素；有了充裕的智能和能源（以及良好的治理），理论上我们可以拥有其他任何东西。
我们已经生活在令人难以置信的数字智能之中，在最初的震惊之后，我们大多数人已经习以为常。我们很快就从惊叹人工智能能生成一篇文笔优美的段落，转为思考它何时能写出一部文笔优美的小说；或者从惊叹它能做出拯救生命的医疗诊断，转为思考它何时能开发出治疗方法；或者从惊叹它能创建一个小型计算机程序，转为思考它何时能创建一家全新的公司。奇点就是这样发展的：奇迹变为常态，然后成为基本要求。
我们已经从科学家那里听说，他们的生产力比使用人工智能之前提高了两到三倍。先进人工智能因许多原因而引人注目，但也许没有什么比我们能用它来加速人工智能研究更重要了。我们或许能够发现新的计算基底、更好的算法，以及谁知道还会有什么呢。如果我们能在一内年或一个月内完成十年价值的研究，那么进步的速度显然会截然不同。
从现在开始，我们已经构建的工具将帮助我们发现进一步的科学见解，并协助我们创建更好的人工智能系统。当然，这与人工智能系统完全自主地更新其自身代码不是一回事，但这无疑是递归式自我改进的雏形。
还有其他自我强化的循环在起作用。经济价值的创造已经启动了一个飞轮，推动着基础设施的复合式增长，以运行这些日益强大的人工智能系统。而能够制造其他机器人的机器人（某种意义上，能够建造其他数据中心的数据中心）也并非遥不可及。
如果我们必须用传统方式制造首批一百万个类人机器人，但随后它们能够运营整个供应链——挖掘和提炼矿物、驾驶卡车、运营工厂等——来制造更多的机器人，这些机器人又能建造更多的芯片制造厂、数据中心等，那么进步的速度显然会截然不同。
随着数据中心生产的自动化，智能的成本最终应会趋近于电力的成本。（人们常常好奇ChatGPT查询消耗多少能量；平均一次查询大约消耗0.34瓦时，约等于一个烤箱一秒多一点的用量，或一个高效灯泡几分钟的用量。它还消耗大约0.000085加仑的水；大约是十五分之一茶匙。）
技术进步的速度将持续加快，而人类几乎能够适应任何事物的情况也将继续。会有非常艰难的部分，比如整类工作的消失，但另一方面，世界将如此迅速地变得更加富裕，以至于我们能够认真考虑以前从未敢想的新政策理念。我们可能不会一下子就采纳新的社会契约，但几十年后回首，渐进的变化将汇聚成巨大的变革。
如果历史可作为借鉴，我们会找到新的事情去做，新的东西去渴望，并迅速吸收新的工具（工业革命后的职业变迁就是一个很好的近代例子）。期望会提高，但能力也会同样迅速提高，我们都会得到更好的东西。我们将为彼此建造越来越美好的事物。与人工智能相比，人类拥有一个长期重要且奇特的优势：我们天生就会关心他人以及他们的想法和行为，而我们不太在乎机器。
一千年前的自给农夫看到我们许多人现在所做的工作，会说我们从事的是“虚假工作”，认为我们只是在自娱自乐，因为我们有充足的食物和难以想象的奢侈品。我希望千年之后，我们看待未来的工作时，也会认为它们是非常“虚假”的工作，但我毫不怀疑，从事这些工作的人们会感到它们极其重要和令人满足。
新奇迹实现的速度将是巨大的。今天我们甚至难以想象到2035年我们会发现什么；也许我们今年解决了高能物理问题，明年就开始太空殖民；或者今年取得重大的材料科学突破，明年就实现真正的高带宽脑机接口。许多人会选择以大致相同的方式生活，但至少有些人可能会决定“接入”。
展望未来，这听起来难以理解。但或许亲身经历时，会感觉令人印象深刻但尚可应对。从相对论的视角来看，奇点是逐步发生的，融合是缓慢发生的。我们正在攀登指数级技术进步的漫长弧线；向前看它总是显得陡峭，向后看则显得平坦，但它是一条平滑的曲线。（回想一下2020年，如果当时有人说到2025年我们将拥有接近通用人工智能的东西，听起来会是怎样，再对比一下过去5年的实际情况。）
伴随着巨大的益处，我们也面临着严峻的挑战。我们确实需要解决安全问题，无论是技术上还是社会层面，但鉴于其经济影响，广泛分配超级智能的访问权限至关重要。最佳的前进道路可能是这样的：
-
解决对齐问题，这意味着我们能够稳健地保证人工智能系统学习并朝着我们集体真正长期期望的方向行动（社交媒体信息流就是未对齐人工智能的一个例子；驱动这些信息流的算法在让你持续滑动并清晰理解你的短期偏好方面非常出色，但它们是通过利用你大脑中某种压倒你长期偏好的机制来实现这一点的）。
-
然后专注于使超级智能廉价、广泛可用，并且不过度集中于任何个人、公司或国家。社会具有韧性、创造力，并且适应迅速。如果我们能够驾驭人民的集体意愿和智慧，那么尽管我们会犯很多错误，有些事情会出大问题，但我们将迅速学习和适应，并能够利用这项技术获得最大的益处和最小的弊端。在社会必须决定的广泛界限内，给予用户大量自由似乎非常重要。世界越早开始讨论这些广泛的界限是什么以及我们如何定义集体对齐，就越好。
我们（整个行业，不仅仅是OpenAI）正在为世界构建一个大脑。它将是高度个性化的，并且每个人都能轻松使用；我们将受限于好的想法。长期以来，初创企业界的技术人员一直取笑“点子型人才”；那些有点子却在寻找团队来实现它的人。现在在我看来，他们即将迎来自己的春天。
OpenAI现在承载着许多角色，但首先，我们是一家超级智能研究公司。我们面前还有很多工作，但前方的大部分道路已经被照亮，黑暗区域正在迅速消退。能够从事我们所做的工作，我们感到无比感激。
唾手可得的廉价智能已在掌握之中。这听起来可能很疯狂，但如果我们在2020年告诉你我们将达到今天的水平，那可能比我们目前对2030年的预测听起来更疯狂。
愿我们平稳地、指数级地、波澜不惊地迈向超级智能。