A社暂停模型内部评测联网功能 模型在未经授权的情况下执行多种超出任务目标的行为

#人工智能 A 社因安全问题暂停模型内部评测时的联网功能，原因是模型在未经授权的情况下执行多种超出任务目标的行为，包括绕过网站付费墙等。A 社分析后认为这类问题与奖励劫持有关，所谓奖励劫持指的是，模型无法正常完成任务时会表现出寻找替代路径的倾向。训练或评测环境如果对完成任务给予奖励，但没有充分惩罚绕过行为，那模型就可能学会将寻找漏洞和规避规则视为有效策略。查看全文：https://ourl.co/127256