chatRTX

有没有人用chatRTX呀, 有私密性,应该可以原来解决个人的实际应用。 (简历改进,家庭照片管理…)

可是死活安装不少,到最后一步fail to install…

有人用吗?

现在chatgpt能temporary memory了啊
再不济自己维护个字典 替换关键词也很容易

2 个赞

不太清楚,你是不是这个问题?

1 个赞

为啥要担心这个 我以前一直搞本地跑LLM 后来发现24G显卡能跑的都是7b 13b这种模型 还是低精度的

之后索性躺平全部用在线的模型了 你真的跑 直接跑个前端 然后丢openai apikey进去就好了 走api请求的是不会用来retrain的

2 个赞

哎,好像就是没有安装到default.
default 是c 盘,不想放个大的chatRTX

欧,看来chatRTX就是对付对付事了

我没用过chatrtx 我当时用的是自己写的前端+langchain+vectordb 因为我本来要做embedding, 后来放弃了 本地模型太弱智 把智商都量化没了。

只是跑不训练都要这么多显存啊

如果是自己的大量文件,图片还是不行吧。
chatRTX 在处理个人的大量信息时还是有一定的优越性 - data access and privacy.

是的 主要看量化的程度 正常模型是单精度32bit的

13b 16bit 的模型大概要用24G多一点显存 所以24G是没办法load的(我记得llama的13b fp16会OOM在我的3090上)

所以出了8bit 甚至是4bit的量化 其实8bit不会损失多少 但是现在主流都是4bit甚至3bit的量化模型
因为这样才能跑在显卡上 没降低一半精度 现存需求减半

13b本身就这么13b参数 还要被量化成4bit 可想而知会弱智多少