DeepSeek R1 真的可以 locally host (需要好的 GPU),大家快来试试 (step-by-step instructions inside)

CPU拉满了50%非常稳定。不知道是不是没有利用多线程的假核导致的

服务器是2412通道内存,装机时候专门把通道拉满的,内存带宽如果是瓶颈的话照理说CPU占用率不应该这么稳定

1 个赞

要是啥时候能train deepseek来修图我就立马在电脑上装上

那这个应该可以 没想到你能叠加的通道数这么多
假设 内存条3200mhz × 8 ÷ 1,000 ≈ 25.6 GB/s
总带宽大概 25.6 GB/s × 24 ≈ 614.4 GB/s
我看别人MAC STUDIO m2 ultra 800GB/s 的带宽r1 671b能够几乎满载

btw,可以体验一下这个 70B R1 蒸馏,对比一下本地速度

在美国攒机唯一的缺点就是空调主机太贵了

:yaoming:

问个白痴问题,另一个帖里讨论过yt-dlp虽然是开源有没有可能留后门,ds有没有这个风险?

官网R1是哪个版本?

求教程z

下面这个 DELL能跑吗?

G15 Gaming Laptop

Estimated Value$1,099.99

Dell Price$899.99

You Save $200.00

13th Gen Intel® Core™ i7-13650HX

Windows 11 Home

NVIDIA® GeForce RTX™ 4050

16 GB DDR5

1 TB SSD

15.6-in. display Full HD (1920X1080) 165Hz

4050大概只能跑7B或者8B的小模型了

这个图里面的数据是啥意思啊
如果要在本地跑deepseek-R1 70B 至少要多少显存?

你可以把8b,13b,70b什么的,看作需要8g, 13g, 70g显存。虽然实际上按照截止的精度,70b可能64g显存就能跑。

1 个赞

那macOS 上想要跑的话至少要上64/96GB的机器啊

31b 需要 24GB VRAM (两张12GB VRAM卡也可以) 或者 Mac M 系列的 unified memory

70b 需要 48GB

小于31b没什么意思

1 个赞

有人试过丐版的最新Mac mini能跑么

可以跑,不过我只试了 qwen 14B

1 个赞

可以,这种推理任务M1时代的mac都能跑,我的笔记本是32G的M1Pro,跑32B的deepseek没什么问题,环境配好就能跑了很简单的

32G 是 RAM 还是 VRAM?

NVDA:要让我降价? :yaoming: 反正就我一家,你有种买昇腾

完全本地跑,不含任何可执行代码,有什么风险