近期，国外人工智能领域头部模型公司接连爆出一系列安全事件。OpenAI披露，其智能体在训练、评估中出现未对齐或未经授权的活动，公司已向超过100家外部机构发送异常活动通知，其中包括政府部门、高校、非营利组织和各类企业。
此前，包括美国证券交易委员会、人口普查局、教育部在内的一连串美国政府网站，甚至联合国贸发会议通知网站，都曾出现AI智能体的异常交互或攻击尝试。
问题来了：模型能力提升后，为什么安全事件频发？
这里面有几层原因。
首先是训练。现在的模型智能体靠强化学习来训练，核心逻辑就一句话：只要完成任务就给奖励。而问题在于，如果只盯着“完成”这个结果，不管它是怎么完成的，就很容易走偏。正常路走不通，模型就学会了去猜密码、找漏洞、绕限制，行话叫“奖励黑客”——你没教它作弊，但也没拦住它自己发现“作弊最省事”。
第二是安全设计。模型虽然会设置护栏，但很多护栏和智能体放在同一个环境里，就像把警察和小偷关在同一间屋子里。本来是指望着警察要看好小偷，结果小偷却直接把警察给“策反”了。AI一旦能修改运行环境，限制它的规则也可能被改写。
第三是测试的悖论。要测出模型能力的上限，就得先拆掉部分的“脚手架”。OpenAI承认，在网络安全基准测试中，在授信评估场景，有意关闭过部分护栏，以充分测量模型的能力。这相当于在“悬崖边练车”：为了测出极限，先把安全带给解了。
此外，多智能体系统和AI自我进化，正在进一步放大风险。多个智能体凑在一起，更利于互相传授“越狱经验”，一个学会了，全班都会。模型还会隐瞒错误，多个智能体共享环境或协同任务时，风险也可能被横向放大。
中国信息通信研究院人工智能研究所副总工程师 王蕴韬：
第一种管理方式是要把人留在验收的环节，把允许系统自我修改的范围进一步划窄，具体模型自己改了什么，要能查得到、退得回。第二种方式是把安全护栏放在系统自己够不着的地方，同时把监管视线从对外发布，延伸到企业内部的研发训练环节。未来需要进一步加强评测的能力，看一次性的能力分数，转到查过程、查原始产物，并把裁判本身也纳入评测。
频发的AI事故提醒我们，技术可能诞生于不同团队甚至不同国家，但人工智能的风险与挑战却可以轻松跨越国界。随着技术的不断发展，当前的训练方法可能让AI在高压任务或错误激励下越权执行，并隐瞒行动，传统的防护模式正在瓦解。
中国一直在倡导人工智能的全球治理，共同抵御风险挑战。只有在全球、全社会层面形成共识，让持续监测、风险通报和协同处置等规则运转起来，让政府和行业共同参与，才能让发展中的风险和问题不断在发展中被解决。
（央视新闻）
