40线程的cpu,96G内存,三张1080ti的显卡的机器,老机器了,想跑本地大模型,最好是70B的大模型,用ollama还是lm studio或是其他呢? 用哪个更能发挥我这老机器的性能呢?
不是消耗 gpu吗
建议换成2080Ti 22G。
你这个应该可以CPU 内存跑吧,显存太小了
1080ti好像是有12G显存版本的
应该支持nvlink?
自用的话就ollama server挺好,生产环境的话可以试试xinference
好奇这机器原来跑的什么
好想用你的这个配置玩城市天际线2,cpu和gpu杀手
不知道是不是支持nvlink,显存是11*3
可以查一下,nvlink还在用那会我没接触过,等接触显卡都是工作之后了。
如果可以显存叠加的话,30G可以跑个14B左右的LLM没有问题,量化后占用更少