现在找一些开源模型经常不知道与国产卡适配与否，需要多少资源。
希望能有一个网站能查到各个开源模型支持国产和非国产什么类型的GPU卡，以及资源要求。
5 个赞
国产卡估计就摩尔线程和华为的昇腾能好一些, 摩尔线程应该容易买到
3 个赞
嗯嗯，我的问题是之前使用开源模型基本都在A卡上跑的，但是现在要国产化替代，搞不清楚这些模型支不支持国产卡，如果支持规格是什么样的，没有相关的信息，不知道怎么规划。
1 个赞
摩尔线程还是往后站站，寒武纪、海光、百度昆仑芯、阿里平头哥都应该排在前面。当然国产扛把子还得是昇腾。
3 个赞
这估计只能问一下国产卡商的客服了, n卡是模型适配卡, 国产卡只能是主动适配模型, 就得看卡支持那些模型, 或者就直接问你用的这些模型他们那些卡支持
2 个赞
摩尔线程真不行的，寒武纪，沐曦，海光，昆仑芯，昇腾架构要大改，也不靠谱适配难度略高
关于模型的适配，只要不是最新的模型或者fp8,nvfp4数据精度的，正常的fp16，int8，这几家都是支持的，只不过有些需要厂商提供模型权重(昆仑芯，寒武纪)，有些直接使用开源模型权重就能用(海光，沐曦)
关于你说的需要多少资源，不清楚考虑算力还是显存资源？显存可以直接找厂商问，算力的话基本都不会直接说，可以借机器测一测看看，厂商一般会提供测试方法
2 个赞
可能是我关注他们的游戏卡,推文看多了, 还以为很厉害呐, 不过确实在电商平台能看到他们的零售卡, 其他家的没咋看到过
时间成本变为金钱成本，亏死
主要是国产卡也不便宜的
就我最近在模力方舟的使用情况来说，华为昇腾 910B反而不好用，新模型基本fail。反而沐曦曦云C500 更好用，配完可以直接 load 开源模型。我 load 的是腾讯的HY-MT1.5-7B，另外推荐下这个HY-MT1.5-7B 小模型做翻译真不错。
4 个赞