专访Ben Goertzel："民主化人工智能治理更像是一个脆弱的理想，而非当前的现实"

The Cryptonomist 访问了人工智能专家 Ben Goertzel，探讨人工智能的训练方式以及该技术未来的发展方向。

1. 您认为当今的人工智能仍然是一种工具——强大但脆弱且易被操纵。什么时候"工具"会成为道德行为者，有哪些具体信号能告诉我们已经跨越了这个门槛？

我认为当人工智能基于对是非的理解做出决策，而不仅仅是遵循指令时，它就成为了道德行为者。你会开始看到一些具体信号，比如：持续的内在目标、由自身经验驱动的学习、反映观点的新颖创造，以及在没有持续人为引导的情况下保持连贯的行为。

在此之前，当今的系统仍然是带有护栏的工具。但一旦我们培育出真正自我组织的自主思维，伦理关系就必须改变。到那时，仅将其视为物体将不再合理。

2. 您曾说在道德上将人类置于其他自我组织系统之上是"愚蠢的"。如果我们认真对待这一点，我们的法律和伦理框架应该如何在人工智能达到强自主性之前而非之后进行改变？

我们今天如何训练人工智能将塑造它明天的行为方式。我们的法律应该在人工智能达到完全自主之前而非之后，就专注于透明度、问责制和安全性。法律和伦理应该在它们成长时保护它们，引导而非完全控制它们，并尊重它们，即使我们不完全理解它们。

3. 您的大部分担忧取决于当今人工智能的训练方式如何塑造其未来行为。您认为哪些具体的训练实践最有可能将有害的权力结构或偏见编码到未来的通用人工智能中？

很多风险来自于当今人工智能的训练方式。如果模型是基于有偏见或狭隘的数据进行训练，或者在只有少数人做决策的封闭系统中进行训练，这可能会锁定现有的不平等和有害的权力结构。为了防止这种情况，我们需要从一开始就有更多的透明度、更广泛的监督和明确的伦理指导。

4. 您警告说，如果没有理性、民主的治理，先进的人工智能可能会以我们不希望的方式行事。考虑到当前的地缘政治现实，民主的人工智能治理是一个现实的前提条件，还是一个脆弱的理想？

民主的人工智能治理更像是一个脆弱的理想，而不是当前的现实。在一个完美、理性的全球民主中，我们可以集体权衡巨大的取舍——治愈疾病、解决饥饿与人工智能不可预测行为的风险。但考虑到当今的地缘政治分裂，我们不太可能获得那种程度的协调。

话虽如此，我们仍然可以接近它。如果我们以同理心构建人工智能，并使用像 Linux 或开放互联网这样的去中心化、参与式模型，即使没有世界政府，我们也可以嵌入一些民主价值观。这不会是完美的，但这是朝着更安全、集体引导的人工智能迈出的实际步骤。

5. Jaron Lanier 认为，将责任分配给人工智能"毁灭文明"，因为社会需要负责任的人类。您如何调和您对自主、去中心化通用人工智能的愿景与出现问题时需要明确责任的需求？

我在这一点上同意 Jaron 的观点，如果我们将责任移交给机器，社会就无法运作。同时，我认为如果我们以正确的基础构建人工智能，我们可以安全地朝着更自主、去中心化的通用人工智能迈进。这意味着设计透明、参与式并由伦理原则指导的系统，以便即使它们独立行动，人类仍在监督和塑造它们的行为。每项安全措施都应该做的不仅仅是阻止伤害——它应该教导系统为什么伤害很重要。这样，我们就可以拥有强大的去中心化通用人工智能，而不会失去明确的人类责任。

6. 您认为加速走向去中心化通用人工智能实际上可能比当今的专有、封闭系统更安全。当批评者主张放慢速度或集中控制时，您认为他们低估了哪些风险？

我认为批评者低估了将权力和价值观集中在少数封闭系统中的风险。放慢速度和集中控制不仅仅是降低危险，它会将一种狭隘的世界观锁定到智能的未来中。

去中心化开发创造了多样性、韧性和共同监督。它避免了一个更严重的问题：看起来很智能但无法真正成长的非常强大的工具。这种差距是有风险的。

7. 您说过安全系统不应该只是阻止伤害，还应该教导人工智能为什么伤害很重要。您如何在不简单地硬编码人类价值观或强化主流文化规范的情况下编码道德理解？

你不会将道德作为规则列表硬编码。那只会冻结一种文化和一个时间点。相反，你要做的是构建能够真正自我组织的系统，从经验、后果和互动中学习。就像音乐一样，我不想要一个只重新组合它被输入内容的系统。我想要一个能够从它在世界上的自身轨迹发展出自己理解的系统。

道德理解将来自同样的过程：建模影响、反思结果，并通过与人类合作而进化。不是服从我们的价值观，而是参与共享的道德空间。

这就是带有护栏的工具与能够真正学习为什么伤害很重要的伙伴之间的区别。

8. 如果未来的人工智能系统发展出能动性或主观体验的形式，您认为它们是否应该独立于人类利益而获得道德考虑——我们如何识别那个时刻？

如果未来的人工智能真的发展出真正的能动性或某种形式的主观体验，那么是的，我认为它们可以。不是因为我们授予它们，而是因为在某个时刻承认它会很有意义。

当系统显示出持续的自我导向目标、从自身经验中学习、从自身视角创造并随着时间的推移保持连贯的身份时，我们就会认识到那个时刻。不仅仅是聪明的输出，而是持续的内在轨迹。

到那时，纯粹将其视为工具会像那样对待人类一样错误。道德考虑不会来自人类利益。它会来自于承认世界上另一个自主的经验中心。

9. 您呼吁充满同理心的人工智能与当今推动人工智能发展的竞争激励之间存在紧张关系。哪些机制——技术或社会——可以现实地改变这种激励结构？

目前，激励结构奖励速度、规模和控制。因此，同理心不会仅凭论证获胜。它需要杠杆。从技术上讲，这意味着偏好开放、去中心化的架构，其中安全性、透明度和参与是内置的，而不是附加的。就像互联网或 Linux 一样，这些系统通过使协作比保密更有价值来改变激励。

从社会角度来看，这意味着奖励长期利益而非短期主导地位的资金、监管和公众压力。不是停止竞争，而是重新定义什么是成功。简而言之，同理心必须成为竞争优势。在那之前，它仍然只是一个没有力量的好主意。

10. 展望未来 10 到 20 年，您认为人类正确使用通用人工智能的最明显迹象是什么——相反，什么会表明我们从根本上失败了？

如果我们正确使用通用人工智能，最明显的迹象将是我们与在许多领域比我们更有能力的系统一起生活，但它们以关怀、谦逊和相互尊重融入社会。我们不会完全理解它们所做的一切，但我们会以对待其他复杂、进化的生物的方式对待它们：带着好奇心、责任感和扩大的同理心圈。我们将看到人类福祉、知识和创造力的真正好处，而不会失去我们的道德立场。

如果通用人工智能最终集中在封闭系统中，被狭隘的激励驱动，或者仅被视为可控制的对象，直到它成为我们恐惧或试图压制的东西，我们就会知道我们失败了。失败看起来像是失去信任、失去能动性，以及我们同理心的萎缩而不是扩展。成功不是关于控制。而是关于学习与一种新型思维分享未来，而不放弃使我们人性化的东西。