有20台windows10电脑，同一局域网，怎么串在一起运行大语言模型?
哪个工具合适?
我记得GitHub上好像见过mac产品串联的repo，还真没见过win的 
前来学习
这不太够吧 
即使有分布式部署工具，一般也是面向Nvidia显卡的多
又是局域网，又是纯CPU，难度不小啊佬
围观一下，看看有没有大佬，目前还没听过类似方案
这个？
找过了，exo支持的是wsl，不方便
可以实现但是没有意义，数据交互延迟太高
搓个玩具或许可以）
而且本身cpu跑大模型这个听上去就不靠谱
即使有实现方案，CPU 的算力和局域网的带宽决定了，基本没有实用价值啊 
llama.cpp好像有个rpc后端还是啥的，能分布式部署，不知道效果怎么样
问的AI
是的，llama.cpp的RPC后端支持分布式部署模型，特别是用于大型语言模型（LLM）的推理任务。它允许将模型权重和KV缓存（Key-Value cache）分布到多个本地或远程设备上，从而解决单机内存不足的问题，支持跨多台机器的计算offload。
突然想起来，我好早之前好像试过，但是它当时只支持nv显卡来着好像，现在不知道了
1 Like
cpu集群？
除了exo这类实验性框架，基本没有
因为没有成熟的内存共享技术
即便成功了，速度也慢的可怜
不影响，希望的是可以运行而非高效运行
估计不太行, exo都停更了, 应该速度太慢, 没实用价值.
"可以运行"只是一个概念, GPU运算一分钟, 网吧纯CPU集群算一小时, 完全没意义啊. 你又不是做Demo演示.
和你用网吧CPU挖矿, 不抵电费一个意思.
记错了，改了一下设备实际条件。
exo吗?
我只知道exo做到了这个
十分钟一 token。
宽带和延迟太大了，没有实际意义