0.6cpp
21
的确可以完全不理，我也没做任何导致 control plane 觉得 node 不 ready 的事情。但节点被杀的时候会提前几分钟 SchedulingDisabled，所以我会监听灵车集群里节点的状态
不过现在都是纸上谈兵，但真不觉得有什么阻止我这么做的事情，就是懒 
（底下是 ubuntu 20.04 + 5.4 内核，有点烦但又不是不能用）
0.6cpp
24
选不带 ft 前缀的那个 gpt-4o-2024-08-06
LiteLLM 内建一个模型列表，但大多数人没有其中的一些模型（比如 fine tune 过的）
ok, it works。谢谢喂饭！其实chatgpt倒是还有一个功能让我印象深刻，就是那个voice chat（主要是声音还蛮好听的…)
之前那个dan的视频很火，甚至给人一种可以voice sexting的感觉
楼主这个和librechat，lobechat的feature set比较过吗
A further question, 假设我中途切换了一个模型，并且throw exception，似乎我就不能继续这个对话了，切换回正常工作的模型也没有办法继续对话。
openwebui开发不怎么活跃，o1发了这么多天了还没支持，其他一些流行的前端早都加上了，比如nextchat，lobechat
0.6cpp
33
支持的啊（OpenAI 后台返回啥模型就显示啥），只是 o1 只有顶级氪金 tier 才能用罢了
https://openai.com/index/introducing-openai-o1-preview/
Developers who qualify for API usage tier 5 can start prototyping with both models in the API today with a rate limit of 20 RPM.
API 氪金 $1000 以上就能用了
digitalocean可以么？我有张usbank的biz卡好像一年可以返100的订阅费
0.6cpp
36
可以，自己服务器的话看官方部署步骤就好了，我这里只是提供了一个 hugging face spaces 的一体配置
o1的API endpoint不一样，并且好像不支持stream，到现在openwebui还没有适配
0.6cpp
41
火星了两天，GitHub Models 上免费的 o1 也开始排队了
