请问大家最近的32b模型为什么我在32G RAM的Mac上也跑不起来啊？慢到不能忍
太慢应该是跑在CPU上了？只有跑在MPS或者Neural Engine上的时候速度还可以
请问命令行加什么可以跑在你说的这两个上面？
sorry 我没爬之前的楼，不知道你怎么setup的；
可以试试直接follow这个：https://www.reddit.com/r/macapps/comments/1i6h705/got_deepseek_r1_running_locally_full_setup_guide/
1 个赞
太慢对不同人来说数值不一样，有些人觉得100token/s也慢，有些人只要20，有些人觉得5token/s也行
几分钟出不来think，是不是因为我选的q8？请问q4比fp16差多少啊
谢谢，仔细看了一下，好像链接里没有提到怎么启动你说的两个东西，我能运行，但是不知道是不是最快的速度
看了一下ollama ps,是显示
PROCESSOR
100% GPU
这样跑q8的32b模型还是一个hi都几分钟回复不了 
看一下ollama serve的输出里，会写多大部分的模型在GPU/CPU，CPU一旦多了就很卡。context length的cache也有影响。
1 个赞
可以。但是需要搭一个agent system作为前端（我估计有做好的现成的），ds作为后端，然后再买个搜索API（Azure AI Search, Tavily）等等
其实也是有源代码的，但是源代码还是保密的，你看不到。 所谓的开源模型只是编译后的结果，纯binary
大佬有没有给低阶电脑的破甲版？
找ai翻译日轻都被和谐了，翻译应该用不到70b，可能10b都够用了
谢谢，所以有没有可能有后门啊？
更新：有人做出来没有审查的版本，需要使用可以用以下 command
32B version:
ollama run huihui_ai/deepseek-r1-abliterated:32b
or
ollama run huihui_ai/deepseek-r1-abliterated:32b-qwen-distill
70B version:
ollama run huihui_ai/deepseek-r1-abliterated:70b
more info here
huihui_ai/deepseek-r1-abliterated
请问Asus Zenbook S14 258V 32g的笔记本能部署几B的模型？
看了一下说32B以下的全是人工智障 
部署是都能部署的，但是看速度多少？