我们离端侧上运行GPT3.5还有多远？

搬砖 学术
1

现在的数据中心狂潮都是基于未来推理需求必须通过集中运算才能实现。
什么时候移动端能独立运行等效GPT3.5能力的模型呢？
再加上在线搜索功能和外挂个性化模块应该能胜任大多数日常活动了吧。
到时数据中心会迎来新的定价和需求估算。

https://www.microsoft.com/en-us/research/blog/phi-4-reasoning-vision-and-the-lessons-of-training-a-multimodal-reasoning-model/

1 个赞
2

你对移动端的场景定义是什么呢？是类似于车载的场景、还是说手机侧的场景、还是说直接植入体内的场景

1 个赞
3

等效于iphone 17 pro性能的硬件？

2 个赞
4

gpt3.5需要350G快速存储，在可观未来都不太可能吧。i4也需要128G的样子。

这种东西说到底还是需要dpsk那样的架构升级，所以现在可以用8G跑llama SLM，其实通用任务性能和GPT3.5差不多。如果要推理用phi，写代码用nemo之类的。模型越小肯定就越要选择。但是8G的话，一个Mac Mini就能跑了。这也是 OpenClaw 最近能够火起来的原因吧，说到底也是SLM的发展。话说回来也是我不太看好OAI这种最近架构创新比较少，全是在堆参数的原因

6 个赞
5

我可以在我的海马体里运行 gpt6 这个秘密我一般不告诉别人

3 个赞
6

开源一下海马体？

不论gemma还是phi 其实大多数场景已经不比3.5 turbo差了 性能需求里在移动端运行并不是很遥远
长尾情况下因为小模型肯定还是有缺陷

2 个赞
7

dpsk是啥

1 个赞
8

deepseek

1 个赞
9

double-penetrated south korean

2 个赞
10

第一直觉想到的是Differential Phase Shift Keying

1 个赞
11

海马体开源可以 海绵体开源达咩

1 个赞
12

Qwen 3.5 0.8B 手机上就可以运行

2 个赞
13

问题是gpt3.5参数又多性能也不好啊，也就现在现在1B的模型水平，现在手机也能运行这个水平的模型了吧

1 个赞
14 
include BillHuang.海绵体

宝贝你今天好猛 感觉好不一样

1 个赞
15

ccea087f-4acf-4725-843e-79e5903a411e
ccea087f-4acf-4725-843e-79e5903a411e279×181 26.2 KB

Hwang

2 个赞
16

pip BillHwang
:troll:

1 个赞
17

海马体还是海绵体

1 个赞
18

qwen3.5-9B的能力好像已经超过gpt 3.5了吧。iphone 17pro有12G运存，理论上已经能跑了。

2 个赞
21

ram跟vram速度还是不能比吧。
我在oci arm上跑个qwen 2.5 7b还是专门针对架构优化过的llama.cpp+q4_k_4量化也就只能跑出8t/s

1 个赞
22

主要是gpt3.5性能不行啊，楼主有机会试试2b的qwen，性能相当接近gpt 3.5