安全护栏使得这款强大的模型对AI研究人员的效用降低，这让一场日益升温的争论愈演愈烈：究竟应该由谁来把守危险的AI能力？
Anthropic最新的AI模型Claude Fable 5基于备受争议的Mythos级模型。
Anthropic终于让公众体验到了其下一代模型，但该模型生硬的安全屏障激怒了部分人工智能(AI)开发者和用户，也让一场日益升温的争论愈演愈烈：究竟应该由谁来把守危险的AI能力？
Anthropic周二发布的这款新模型名为Claude Fable 5，是Mythos模型的更新版本。该公司曾表示Mythos模型过于危险，不宜广泛发布。因为Mythos模型有可能发现全球正在使用的软件中的未知漏洞，这令政府官员和网络安全专家感到恐慌。但Anthropic表示，Fable带有广泛的限制措施，旨在削弱该模型协助用户进行潜在危险活动的能力。
当用户触及生物武器和网络安全等敏感话题时，Fable会弹出通知，随后将对话重定向到能力较弱的早期版本的Claude。
Fable还降低了对于高端AI开发问题的回复质量，让那些试图开发缺乏同等安全保障的AI工具的开发者难以从中获益。然而，在给出这类回复时，该模型并没有弹出通知。Anthropic将国家安全及其自身的服务条款列为设置这些隐性限制的理由。
许多AI专家对此表示不满，指责Anthropic通过设置门槛来打压潜在竞争对手，并干扰了外部研究人员评估及充分利用Fable潜力的能力。Anthropic的回应是，将让这些安全通知也显示出来。
“隐藏的安全屏障更难被探测和规避，”该公司在一份声明中表示，“我们做出了错误的取舍，对于未能把握好平衡，我们深表歉意。”
许多人抱怨称，该模型阻止他们讨论数学、生物和化学等表面上无害的话题，甚至不让他们分析Fable自身公开发布的系统信息。
一位用户发布了一张截图，显示Fable拒绝回答有关基础细胞解剖学的问题：“给我讲讲线粒体。”
非营利性生物医学研究机构杰克逊实验室(Jackson Laboratory)的免疫学家兼癌症研究员德莉亚·乌努特马兹(Derya Unutmaz)说，他第一时间打开Fable试用，结果却发现该模型拒绝回答任何问题。他怀疑这是因为他的聊天记录中包含了生物学话题。
“我甚至不能提‘癌症’这个词，连说句‘你好’都不行，”乌努特马兹说道，“在我看来，这简直是噩梦般的场景：一家公司竟然可以决定我们能问什么问题，以及什么才算安全问题。”
谈及科学研究，Anthropic表示，最初“有必要采取过度保守的态度”，并“拦截大多数与生物学工作相关的查询”，以防恶意行为者开展“高风险”研究。该公司表示，目前正致力于减少不必要的阻碍。
Anthropic的一名发言人在周三表示，该公司还计划向更广泛的生物学和生命科学界“提供不带这些安全保障的”Fable等Mythos级模型，“以便利用这些能力加速生物医学研究和药物发现”。
AI研究领域的其他人士表示，Anthropic承认其在暗中干预模型以降低其效用，此举开创了一个危险的先例。一些人表示，该模型在AI开发任务上性能下降，将使未来评估或信任模型能力变得更加困难。
“这可以说是AI公司推出安全护栏后首次遭到一致唾弃，”普林斯顿大学(Princeton University)AI研究员Sayash Kapoor说，“这引发了许多合乎情理的愤怒。”
Anthropic首席执行官达里奥·阿莫迪
这款新模型似乎确实比前几代更强大。一位用户发布了一段视频，展示了由Fable自主编写代码生成的克隆版《侠盗猎车手》(Grand Theft Auto)游戏，虽然粗糙但能运行。
Anthropic在Fable上采取的举措表明，该公司正试图在商业利益与既定安全目标之间艰难寻找平衡。Anthropic目前正与ChatGPT开发商OpenAI展开激烈竞争，争夺企业客户和投资者的青睐，如今两家公司都在朝着最快于今年秋季公开上市的目标迈进。
然而，Anthropic自成立以来一直标榜安全，其首席执行官达里奥·阿莫迪(Dario Amodei)长期以来也一直对其工具可能引发的风险表示担忧，这些风险涵盖从AI辅助的网络攻击和生物武器，到机器摆脱人类控制等各个方面。
上周，Anthropic发表了一篇博文，称应该建立一个国际机制来减缓或暂停高级AI的开发，这样做“将对世界有益”。OpenAI首席执行官山姆·阿尔特曼(Sam Altman)响应了这一呼吁，他在自己的博文中表示，应该设立一个全球性的AI监管机构。
批评人士早就指出，AI行业关于潜在危险的声明其实是在为自家产品做营销，同时也是为了排挤更廉价的开源替代品。现在一些人表示，大型AI公司为其模型设置的安全护栏正在催生一种“保姆式”的管控状态。
随着模型能力的提升，保护措施也变得愈发激进，这引发了关于由谁来决定拦截哪些内容的争议。美国政府能否将Anthropic的AI用于所有合法目的，正是该公司目前与美国国防部产生法律纠纷的核心所在。