News
每月花20美元还得照顾AI情绪!Anthropic立规 严重辱骂Claude可封号
1 min read
Source: news.mydrivers.com
AI伦理治理出现新动向。为应对人机交互中的极端不当行为,Anthropic近日更新使用政策,自11月12日起禁止用户无故虐待AI模型,违规者将面临限流乃至封号等处罚。 据媒体当地时间10月8日报道,Anthropic当天更新使用政策,明确禁止用户对其AI模型实施“持续且无谓的辱骂或残忍行为”。新政策将于11月12日正式生效。 这是Anthropic一年多来首次修订使用政策。 公司指出,新规只适用于极端情形,即用户在没有明显目的的情况下,反复对模型实施残忍行为。用户日常表达不满、反驳模型观点、创作黑暗题材内容,以及开展模型测试与研究,均不在禁止之列。 该规则的主要执行方式为终止对话。根据新版使用政策,对于违规用户,Anthropic可以发出警告,或对其访问权限进行限流、限制、暂停乃至终止。用户在被封禁后注册新账号或借用他人账号继续使用,同样属于违规。 除禁止虐待模型外,本次更新还整合并收紧了多项条款,包括禁止利用虚假账号和误导性政治内容开展宣传活动,更明确地禁止未经同意的监控,并在健康、金融等领域提出了更明确的人工监督要求。 此外,新政策要求,当Claude操控的自主硬件可能造成人身伤害时,须有可随时介入的操作人员。 媒体报道称,对绝大多数用户而言,11月12日后的使用体验不会发生明显变化。但将对待AI的方式纳入可执行的政策,意味着人机交互的行为规范开始进入AI公司的治理范畴。 Claude也会“痛苦”? 这一调整延续了Anthropic在模型福祉领域的长期探索。 模型福祉(model welfare)是Anthropic探索的一个研究方向:在无法确定AI模型是否具有道德地位的前