如果 AI 公司直接 distill 其他 AI 的输出，不是可以节约大量算力吗？

搬砖 学术
1

就不需要 pre-train 和 RLHF，这样不是可以节约大量算力吗？

为什么中小公司不这么做，来用超低成本产生对抗 GPT/Gemini 的模型？

2

已经在做了，所以Mini Max, Deepseek 等一众国产AI才被anthropic给禁了

3

是啊为什么呢

可能不这么做的都比较傻

只有少数做了的比较聪明吧

楼主说的是蒸别家的而不是蒸自己家的

Google蒸别人的了吗

4

你倒是说说现在有哪家AI不蒸馏的？

1 个赞