40线程的cpu,96G内存,三张1080ti的显卡想跑大模型

40线程的cpu,96G内存,三张1080ti的显卡的机器,老机器了,想跑本地大模型,最好是70B的大模型,用ollama还是lm studio或是其他呢? 用哪个更能发挥我这老机器的性能呢?

不是消耗 gpu吗

建议换成2080Ti 22G。

你这个应该可以CPU 内存跑吧,显存太小了

1080ti好像是有12G显存版本的

应该支持nvlink?

自用的话就ollama server挺好,生产环境的话可以试试xinference

好奇这机器原来跑的什么

好想用你的这个配置玩城市天际线2,cpu和gpu杀手

不知道是不是支持nvlink,显存是11*3

可以查一下,nvlink还在用那会我没接触过,等接触显卡都是工作之后了。

如果可以显存叠加的话,30G可以跑个14B左右的LLM没有问题,量化后占用更少