中国科技巨头字节跳动创始人张一鸣在内部会议上说,字节跳动不会把蒸馏当作提升人工智能(AI)模型能力的捷径,即便这意味着公司眼下落后于国内竞争对手。
澎湃新闻星期四(8月6日)引述字节跳动内部人士称,在7月举行的字节跳动Seed团队全员大会上,张一鸣罕有地对此表态,称字节跳动“应该愿意为长期目标牺牲一部分短期收益”。
报道称,今年以来,中国国内AI大模型竞争极为激烈,几乎每隔几天就有新模型发布,国内竞争对手开源模型的快速发展给字节跳动带来更大压力,每当有一个强大的开源新模型发布,字节跳动内部关于蒸馏的争论就会升温。
对此,张一鸣说,做模型要坚持长期主义、延迟满足感,而不是用别人的输出,换一时的榜单排名。
模型蒸馏是一种旨在复制大型语言模型性能的技术,利用复杂、大型模型的输出,来训练或改进一个较小的模型,这一技术在科技行业普遍存在。
成立于2023年的Seed是字节跳动旗下科研团队,负责大模型研发和基础AI研究。字节跳动内部对开源模型严禁蒸馏,甚至通过API检测等方式在内部加强相关限制,因为张一鸣认为,蒸馏会“干扰真正意义上的长期技术突破”。
模型蒸馏是中美日益激烈科技竞赛中的焦点之一,美国指中国AI企业通过蒸馏窃取其模型技术,近期以国家安全、知识产权及模型安全风险为由,加强审查中国开源AI模型。
美国财政部长7月称,若中国AI企业使用构成知识产权盗窃的“工业级蒸馏攻击”,可能面临制裁并被列入实体清单。中国商务部则警告,对于任何实质性损害中方利益的行为,中国将采取一切必要措施,坚定维护自身正当合法权益。