CPU拉满了50%非常稳定。不知道是不是没有利用多线程的假核导致的
服务器是2412通道内存,装机时候专门把通道拉满的,内存带宽如果是瓶颈的话照理说CPU占用率不应该这么稳定
CPU拉满了50%非常稳定。不知道是不是没有利用多线程的假核导致的
服务器是2412通道内存,装机时候专门把通道拉满的,内存带宽如果是瓶颈的话照理说CPU占用率不应该这么稳定
要是啥时候能train deepseek来修图我就立马在电脑上装上
那这个应该可以 没想到你能叠加的通道数这么多
假设 内存条3200mhz × 8 ÷ 1,000 ≈ 25.6 GB/s
总带宽大概 25.6 GB/s × 24 ≈ 614.4 GB/s
我看别人MAC STUDIO m2 ultra 800GB/s 的带宽r1 671b能够几乎满载
btw,可以体验一下这个 70B R1 蒸馏,对比一下本地速度
问个白痴问题,另一个帖里讨论过yt-dlp虽然是开源有没有可能留后门,ds有没有这个风险?
官网R1是哪个版本?
求教程z
下面这个 DELL能跑吗?
Estimated Value$1,099.99
Dell Price$899.99
You Save $200.00
13th Gen Intel® Core™ i7-13650HX
Windows 11 Home
NVIDIA® GeForce RTX™ 4050
16 GB DDR5
1 TB SSD
15.6-in. display Full HD (1920X1080) 165Hz
4050大概只能跑7B或者8B的小模型了
这个图里面的数据是啥意思啊
如果要在本地跑deepseek-R1 70B 至少要多少显存?
你可以把8b,13b,70b什么的,看作需要8g, 13g, 70g显存。虽然实际上按照截止的精度,70b可能64g显存就能跑。
那macOS 上想要跑的话至少要上64/96GB的机器啊
31b 需要 24GB VRAM (两张12GB VRAM卡也可以) 或者 Mac M 系列的 unified memory
70b 需要 48GB
小于31b没什么意思
有人试过丐版的最新Mac mini能跑么
可以跑,不过我只试了 qwen 14B
可以,这种推理任务M1时代的mac都能跑,我的笔记本是32G的M1Pro,跑32B的deepseek没什么问题,环境配好就能跑了很简单的
32G 是 RAM 还是 VRAM?
NVDA:要让我降价? 反正就我一家,你有种买昇腾
完全本地跑,不含任何可执行代码,有什么风险