要点
- Vitalik Buterin警告说，天真的AI治理太容易被利用。
- 最近的演示展示了攻击者如何欺骗ChatGPT泄露私人数据。
- Buterin的"信息金融"模型促进多样性、监督和韧性。
以太坊联合创始人Vitalik Buterin在X上警告他的粉丝关于依赖人工智能(AI)进行治理的风险，认为当前的方法太容易被利用。
Buterin的担忧紧随EdisonWatch联合创始人Eito Miyamura的另一个警告，后者展示了恶意行为者如何劫持OpenAI的新模型上下文协议(MCP)来访问私人用户数据。
天真的AI治理的风险
Miyamura的测试揭示了一个带有隐藏命令的简单日历邀请如何在助手访问受损条目后欺骗ChatGPT暴露敏感邮件。
安全专家指出，大型语言模型无法区分真实指令和恶意指令，使它们极易受到操纵。
Buterin表示，这一缺陷对于过度信任AI的治理系统来说是一个重大警示。
他认为，如果这类模型被用于管理资金或决策，攻击者可以轻松地通过越狱式提示绕过安全措施，使治理过程容易受到滥用。
信息金融：基于市场的替代方案
为了解决这些弱点，Buterin提出了一个他称为"信息金融"的系统。这个框架不是将权力集中在单一AI上，而是允许多种治理模型在开放市场中竞争。
任何人都可以贡献一个模型，他们的决策可以通过随机抽查来挑战，最终决定权留给人类陪审团。
这种方法旨在通过结合模型多样性和人类监督来确保韧性。此外，为开发者和外部观察者检测缺陷也建立了激励机制。
为稳健性设计机构
Buterin将此描述为一种"机构设计"方法，一种可以插入来自不同贡献者的大型语言模型，而不是依赖单一集中系统的方法。
他补充说，这创造了实时多样性，减少了操纵风险，并确保了在新挑战出现时的适应性。
今年8月早些时候，Buterin批评了推动高度自主AI代理的趋势，称增加人类控制通常会提高质量和安全性。
他支持允许迭代编辑和人类反馈的模型，而不是那些设计为长期独立运行的模型。
下一页
免责声明：Coinspeaker致力于提供公正透明的报道。本文旨在提供准确及时的信息，但不应被视为财务或投资建议。由于市场条件可能迅速变化，我们鼓励您自行验证信息并在基于此内容做出任何决定前咨询专业人士。
Parth是一位拥有超过5年行业经验的加密货币记者，他曾与加密和金融世界的主要媒体机构合作，在经历了多年的熊市和牛市后积累了丰富的经验和专业知识。Parth还是4本自出版书籍的作者。
Parth Dubey在LinkedIn上
来源：https://www.coinspeaker.com/ai-governance-is-a-red-flag-vitalik-buterin-offers-an-alternative/
