pcie啊，flexiblelom不还得转接。
看起来这些NPU都不太可能带的动 GroundingDINO or LLaVA这种规模的模型，虽然我们完全可以蒸馏一下。目前来看比较好的解决方案还是得在home lab上插个Nvidia的计算卡 
1 个赞
那30块挺好的，所以m920就用自带的rj45入户吗，另外路由器用两根光纤接交换机的意义是？
看看这家？
先这么办，如果断流严重我就拔掉一根路由器光纤换光电接口。
就，备份？负载均衡做在入户上没意义，既然有两个口那不用白不用（咦）。
1 个赞
我有一个打算就是把我原来预备淘汰的i3 NUC拆下来搭配入户摄像头。
虽然只有一个RJ45导致当不了软路由，但是摄像头网络本来也就不需要连外网。
大致安排就是m2接口装coral，stata装系统，跑一个frigate，所有计算装本地。
有一块多余的8G内存插上去用，估计也够用了，只跑frigate的话树莓派都够吧。
这个厉害了，看不出来这个小玩意FP8 Performance有332 teraFLOPs，基本上是对标 RTX 4000 Ada的水平了。然而现在RTX 5000 16GB似乎比他（只有8GB）还便宜，这很难说服人去买一个不支持CUDA的推断专用加速器我觉得 
诚然，这家的东西还是主打一个时髦，能耗似乎也有一点优势，别的不如买个计算卡。
1 个赞
我觉得你一定会对我们项目的最终产品有兴趣的，等出demo了一定寄一个给你玩玩 
2 个赞
好呀好呀，很期待！
我现在为了tenure只能追热门做一些buzzword但不是最有趣的实验。
如果能tenure的话，我想在sabbatical的时候做一点AI相关的小项目创业试试。
1 个赞
目的是省钱吗
软路由终极答案就是mac mini
原来是位老师，失敬了 
哎，我们还没tenure的AP的苦命doctoral student也是这样的。
首先是我个人审美问题，degoogle、demicrosoft、deapple。
我当然知道这三家深入互联网基础设施不可能完全回避，但是我家里面尽量就不用他们的了。
其次是DIY动手的过程就很有趣啊。
m920可以换cpu，可以换内存，有m2 m key e key，有sata，有pcie，能做的事情太多了。
据说mac mini也可以各种魔改，但是细节我就不清楚了。
是的，显存太小了，当时设计“edge accelerator”的时候还没有考虑到后来的LLM爆发。以后家里摄像头也得接入multimodal llm这个哪够啊。以及Google给TPU edge这么小的显存应该也有想逼数据上云的意思
1 个赞
根据微软的说法，Copliot的本地版本会是一个需要40 TOPs NPU的LLM。
我不喜欢大机箱，家用电脑是一台新配的mATX，唯一的PCIe要给网卡，所以只有m.2 NPU可选。
Hailo-10我暂时还不知道哪里可以买到，是一个40 TOPs+8GB的NPU，应该够跑本地LLM。
Hailo-8是一个26 TOPs的NPU，我在想有没有可能跑一个基本的LLM本地用，感觉比较难。
需要蒸馏，蒸馏后的效果也难说 。
这个也就够跑Copilot / Apple Intelligence / Gemini Nano这种小规模功能残缺的模型了
1 个赞
我之前对比大量联想和戴尔的usff小机器一起用（比如7040 micro对标m720q），觉得还是戴尔的工业设计更到位，比如无工具拆卸之类的。如果比联想贵20%以内的话还是挑戴尔吧。
而且企业淘汰下来的小机器市场里戴尔的货量非常大，价格竞争也更充分。可以只买骨架，不带内存不带硬盘甚至不带无线网卡，相当于只有CPU和主板。
我其实只需要AI帮我proofread而已，感觉可能小模型也够了，估计需要自己调教。
现在把东西全都扔进ChatGPT在线proofread，我其实多少还是有点不舒服的。
其实我也有GPU，但是NPU能干的活不想给GPU干，不知道本地模型能不能分流算力。
确实，我下一台可能还是优先考虑dell，联想工业设计真不怎么样。
虽然记得你好像之前说不再用Apple的设备了，但是Apple Intelligence的本地writing tools模型做proofread还挺方便挺好用的。虽然不知道你现在主力设备为何无法具体地讨论，但是generally speaking可以自己部署一个llama.cpp（我记得也支持Ascend NPU？），然后prompt自己需要的工具。
单位有插了计算卡的工作站，这个什么都可以跑。
家里新配的电脑还在纠结呢，7950X3D+4700S的一个小机箱，只剩一个M2了。
我在家期间也不是很想连上学校VPN，所以才想能不能本地。
主要是一些基本LLM的活也不想连上工作站干，自己本地跑跑好了……
这不挺好的么，跑个8bit的llama 3.1 8B绰绰有余 
。还能剩8G的显存干别的呢。
1 个赞