Removed

这个代码应该是ollama的吧,deepseek提供的只有模型weight,所以模型weight怎么上传你的数据

64G,但那个其实是 llama 3,并不是R1

谢谢,纯小白,我以为Ollama是类似docker 一样,最终还是要下载ds的全部代码

请问不在意速度的话16G ram可以硬上70B版本吗?官网的版本是不是比70B还要好?

上不了吧,除非 mmap SSD 再手动选择 offload 几层扫内存?内存条这么便宜没必要折腾。

1 个赞

ds只开了个模型,大家用来跑ds的都是业内成熟工具,不是ds提供的

1 个赞

Mac swap能行吗?没有台式机加不了 :joy:

Swap不行的,必须是内存。llm很吃带宽速度,需要500-800G/s的带宽速度才能流畅出结果

1 个赞

谢谢,所以GitHub上的只是一个“配置教程”,并不是源代码?

不追求流畅,能跑就行,几分钟一次对话也可以 :joy:

ds官方gh主要是介绍了模型是怎么来的,用了什么方法,效果怎么样等等比较技术性的内容和模型下载。非官方gh的话就是别人写的怎么用了

ds r1 因为有思考链,每个问题的”隐含的”回答会非常多,用外置存储跑一个问题可能几个小时都跑不完

1 个赞

谢谢,大概明白了,原来你们说的模型是数学模型,我以为模型==全部源码 :rofl:

意思是低于32GB内存的Mac都不要想了? :yaoming:

31b和70b能力差一倍还是多少?

模型没代码,就是数学模型(架构)+权重,DeepSeek R1 617B 里的 “617B” 就是 "617 Billion float-point parameters” 的意思。

1 个赞

谢谢,所以官网是617B,一楼的教程最多只能下载70B的?

ollama也有满血671b的

ollama run deepseek-r1:671b

按楼上多少B需要多少内存的推理,请问需要671G内存才能跑吗?

对啊,你去试试,然后回来告诉坛友效果如何吧 :troll:

试了

80GB

够用

一楼教程你改个参数就可以 671B。64G 肯定跑不了,应该需要 480G 左右。那个 70B 的其实是 llama3

1 个赞