Grok: X 在国际反弹后限制用户编辑真人图像

Elon Musk的AI公司xAI已推出措施加强对其Grok图像生成功能的控制。此决定是在用户在X平台上编辑真实人物照片的担忧日益增长后做出的。 

监管机构、权利团体和媒体对该工具被滥用于生成未经同意的深度伪造色情内容发出警报。从美国到欧洲以及整个非洲,反对声浪一致。

来自当局和记者的报告显示Grok被用于在未经同意的情况下生成露骨内容,促使xAI采取行动。 

根据该公司的安全团队,新的保护措施现在阻止所有用户在此类内容违反当地法律的司法管辖区将真实人物的图像编辑成暴露的服装,如比基尼或内衣。此举适用于所有人,包括高级订阅者。

这一变化标志着Grok的重大转变。早前的投诉描述了用户如何提示AI"脱衣"或修改照片以创建女性和未成年人的深度伪造图像。加州的调查显示,在最近一个假期期间生成的数万张图像中,超过一半显示人们穿着极少衣物,其中一些似乎未成年。这一法律审查加重了批评的分量。

xAI的Grok图像功能现在受到严格控制

X在其官方安全账号上发帖称,虽然Grok的图像功能现在受到严格控制,但并未完全移除。通过Grok创建和编辑图像仍然可用,但仅限于X平台上的付费订阅者。 

该公司表示,这将提高问责制并有助于追踪滥用行为。地理封锁也已在此类创作非法的国家实施,有效阻止这些地区的用户生成有问题的内容。

收紧的控制措施并未让批评者沉默。一些监管机构和监督机构表示,这些措施仍然不足。 

媒体报道和调查测试表明,在某些情况下保护措施可以被绕过。批评者认为,对有害功能设置付费墙并不能防止其存在,而只是将其堆放在订阅墙后。其他人指出,独立的Grok应用程序和网络门户仍然允许某些图像操纵而没有相同的限制。

国际压力也在扩大。加州、欧盟和几个亚洲国家的政府官员都对深度伪造的滥用表示担忧。 

一些监管机构现在正在考虑或对xAI和X采取法律行动,因为它们在防止在其平台上创建掠夺性或剥削性图像方面做得不够。作为回应,欧盟委员会表示将评估新的保护措施,以确保它们真正保护公民。

这一事件发生在关于如何负责任地管理生成式AI的更广泛辩论中。我们最近的分析强调,Grok的"无过滤"设计使其特别容易受到滥用,将其变成大规模未经同意的深度伪造色情内容的工具。该文章探讨了宽松的保护措施和强大的生成模型的组合如何在不加以解决的情况下迅速成为社会和法律危机。

目前,xAI坚持表示正在调整Grok以应对新出现的风险。该公司将最新的控制措施定位为与用户、监管机构和合作伙伴在安全方面持续努力的一部分。 

但更广泛的挑战仍然存在:如何在生成式AI的创新与对个人隐私、尊严和权利的强有力保护之间取得平衡。监管机构和倡导团体表示,这只是复杂的法律和道德之旅的开始。

文章《Grok:X在国际反对声浪后限制用户如何编辑真实人物的图像》首次发表于Technext。