在短短几年内,人工智能已融入日常业务运营中,许多公司正迅速推进流程自动化并依赖人工智能驱动的系统。但据 Georg Meyer(一位战略家和系统专家)所说,速度和便利可能会付出代价,尤其是当企业失去对其最重要系统实际运作方式的可见性时。
Meyer警告说,最大的风险之一是虚假的理解感。"公司可能认为他们知道发生了什么,因为他们给出了提示,"他解释说,"但他们对黑箱内部发生的事情没有真正的可见性。"

现代人工智能系统,特别是大型语言模型,功能强大但难以完全检查。它们的内部流程并不总是透明的,而且由于内置的随机性,其输出可能会有所不同。这在一致性和可靠性方面造成了挑战,尤其是当人工智能用于核心业务功能时。"可重复性和可靠性存在隐藏风险,"Meyer说,"当它们影响公司的核心时,可能是灾难性的。"
对于Meyer来说,解决方案不是避免使用人工智能,而是确保人类的理解仍然是核心。企业仍然需要了解系统如何运作的人,即使这些系统由人工智能支持。
短期收益,长期风险
Meyer强调的另一个问题是人工智能对组织内专业知识的长期影响。虽然人工智能可以显著加快工作流程并帮助将知识转化为行动,但过度依赖它可能会带来意想不到的后果。
"过度依赖和依赖不足都可能存在风险,"Meyer说。"人工智能可以减少应用专业知识所需的时间,但它提出了一个重要问题,如果下一代专家从未打下基础,我们如何培训他们?"
在短期内,人工智能可以提高团队的生产力。但如果员工开始依赖它进行核心思考和解决问题,企业就有可能失去处理复杂、意外或需要人性化触觉的情况所需的专业知识。Meyer认为,公司和教育工作者都需要有意识地保持基础知识,特别是在不能依赖人工智能的情况下。
问责制仍然属于人类
也许Meyer提出的最重要问题是问责制。随着人工智能系统承担更多责任,一些组织可能会在出现问题时试图转移责任。Meyer明确表示这不是一种可行的方法。
"问责制及其法律对应物责任,从根本上说是与人类相关的,"他说。"你不能通过说'人工智能做的'来撇清不良后果的责任。"
他指出,许多公司已经在试图应对这个灰色地带。人工智能提供商通常会包含免责声明,说明他们的系统可能会出错,而汽车等行业推广"自动驾驶"功能,但仍然让人类驾驶员承担责任。然而,Meyer认为,如果系统真正自主,责任必须转移到设计和部署它们的人身上。
这甚至适用于较小的日常用例。例如,使用人工智能构建处理敏感数据的应用程序的企业不能假设该技术会正确管理安全性。"人工智能并未被委托管理数据," Meyer说。"公司才是。"







