Anthropic 将其开源 AI 对齐工具 Petri 更新至 3.0 版本,并将开发工作转移给 Meridian Labs,以增强中立性和行业采用率。
Anthropic 已将其开源 AI 对齐工具 Petri 更新至 3.0 版本,并宣布将其开发工作转移给独立 AI 评估非营利组织 Meridian Labs。这一举措于 2026 年 5 月 7 日公布,旨在将 Petri 建立为测试人工智能模型行为和一致性的中立、全行业标准。
Petri 最初于 2025 年 10 月推出,是一个开源框架,旨在审核大型语言模型 (LLM) 的安全风险。它可以自动化测试人工智能模型的行为,例如欺骗、阿谀奉承以及与有害请求合作。从 Claude Sonnet 4.5 开始,该工具已成为 Anthropic 的 Claude 模型对齐评估流程的组成部分。
Petri 3.0 版本引入了重大升级。主要增强功能包括:
- 适应性:该框架现在将审核员模型和目标模型分开,允许用户针对更广泛的应用程序独立定制这些组件。
- 真实性:新的附加组件“Dish”通过使用模型的实际系统提示和软件支架,使测试场景更能反映现实世界的部署。
- 深度:与 Anthropic 的 Bloom 工具集成可以对特定行为进行更全面的评估,补充 Petri 更广泛的调查方法。
Petri 已经受到英国人工智能安全研究所 (AISI) 等知名组织的关注,该机构将其纳入其模型评估框架中。更新后的版本预计将进一步提高其在实验室、独立研究人员和监管机构中的实用性。
通过将 Petri 转移到 Meridian Labs,Anthropic 旨在确保该工具的独立性和可信度。这一转变反映了 Anthropic 早些时候向 Linux 基金会捐赠模型上下文协议,强调了其对促进开放、协作的人工智能安全研究的承诺。 Petri 现在与其他 Meridian Labs 工具(包括“Inspect”和“Scout”)一起构建用于 AI 模型评估的综合堆栈。
这里更广泛的背景是人们越来越关注先进人工智能系统与人类价值观的一致性。随着人工智能能力的加速发展,行业面临着越来越大的压力,要求标准化评估模型行为的工具。 Petri 的方法(模拟与目标模型的多轮交互并对未对准的响应进行评分)为研究人员提供了应对这一挑战的可扩展解决方案。
如果有兴趣,可以在其官方网站上找到 Petri 3.0 的详细安装和使用说明。 Meridian Labs 还发布了一篇博客文章,概述了这些更新,您可以在此处访问该文章。
此更新强调了开源工具在加速人工智能安全研究方面的重要性,特别是随着模型复杂性的增长。对于开发者和政策制定者来说,Petri 的进化可以在塑造人工智能问责制的未来方面发挥关键作用。
