有大佬用2080ti魔改运行DS的吗，效果如何？

开发调优
,
1

5090听说翻车了，想先买个小卡凑合用下

8 个赞
2

翻车是啥意思？我试了也就跑跑 14b，32b 只有 2t/s

3

看显存大小啊.671b的,那啥家用显卡都不行.
24g可以跑32b

反正我的 8g显存只能跑7b 8b

4

佬跑的多少精度呀

5

现场测了一下，供参考：

  • 32b模型运行速度

32b运行效果
32b运行效果753×681 8.33 KB

  • GPU信息

硬件信息
硬件信息645×257 4.61 KB

试了不少模型，32b模型大概是2080Ti的上限了，再大的就会上CPU混合推理了。

1 个赞
6

5090也就32G显存，而且价格远远超过魔改48G显存的4090或者是原生48G显存的L20、A6000。
假如个人搞AI的话，5090并不太划算，除非豪到一定境界 :rofl:

7

好像是驱动有问题，PCIE5.0的电气性能不优

8

8b啊…没啥用… 娱乐下

9

3090也还行感觉挺快的了

image
image1463×839 26.4 KB

10

感谢！足够用了

1 个赞
11

3090 20G贵很多

12

跑32b的还行，跑70b的一秒一个字

13

5000左右咸鱼的

14

也是32b吗，30系还是强的

15

是的，最近论坛他们发的破限了的r1：huihui_ai/deepseek-r1-abliterated:32b