全球最大IPO落地引发AI安全讨论 安全承诺受考验【全球最大的ipo是哪个】 ypxx.net

当地时间11月19日,开发Claude语言大模型的美国人工智能企业Anthropic公司在纳斯达克交易所挂牌上市,首次公开募股融资金额超过810亿美元,打破了Space X在今年6月创下的750亿美元的历史最高纪录,成为全球最大的IPO。自成立之初,Anthropic就强调其与其他AI公司的不同之处在于“安全和责任”,将自己塑造为把公共利益置于商业利益之上的AI公司。在提交给美国证券交易委员会(SEC)的IPO招股书中,Anthropic也将AI安全列为公司的核心公共利益使命,承诺负责任地开发和维护先进AI,使其长期造福人类。

全球最大IPO落地引发AI安全讨论

就在Anthropic上市前三天,美国加利福尼亚州总检察长罗布·邦塔宣布对OpenAI提起诉讼,指控该公司违反多部法律,制造了网络攻击事件并对公共安全构成威胁。随后,OpenAI宣布已邀请第三方机构的独立安全研究人员根据各项安全措施评估其模型。

浙江大学计算机科学与技术学院百人计划研究员、博导郑天航在接受采访时讨论了人工智能公司在策略和技术上是否能够真正平衡安全、公共利益和商业利益的问题。对于Anthropic上市后能否守住“安全承诺”,郑天航表示,在盈利和维持股价的需求下,发布的通用大模型版本还是会以性能为先。从技术角度看,安全会带来一些限制,无论怎么做安全对齐,都不可能完全避免过度拒答的问题。例如,如果一个计算机安全研究人员希望模型帮助检查本地系统的漏洞,这种需求本身是正当的,但在一个安全对齐程度很高的模型上,可能会被拒绝。此外,安全对齐还可能影响模型在Token开销方面的竞争力,导致模型运行速度变慢。

因此,无论从效用还是效率来看,安全对齐程度更高的模型在市场上不一定具有优势。不过,在智能体场景中,用户对安全性的需求更高,安全可能会体现出一定优势。上市公司决策者可能会根据不同应用场景推出不同安全对齐程度的模型。

对于目前OpenAI等企业邀请第三方机构进行独立安全评估的做法,郑天航认为这种机制偏向于道德约束而非法律约束。外部评估机构的基础能力是否能达到OpenAI的技术水平也存疑。评估一个系统需要对整条技术流水线非常熟悉,甚至可能需要比被评估企业做得更好才能发现所有潜在问题。然而,目前无论是学界还是工业界,针对大模型的安全评估技术都还在发展中,并没有形成特别成熟的体系。即便评估机构发现了安全问题,是否能够保持中立或对企业产生实际影响也存在不确定性。在评估范围和人员受限的情况下,技术能力强的企业有可能隐藏不希望被发现的信息。

无论从技术层面还是非技术层面,现阶段实现全面、系统的大模型安全评估的可能性都很低。安全评估技术的发展更多取决于公共利益的需求,但在没有实际经济利益驱动的情况下,很难与迅猛发展的模型能力竞争。