公司要部署大模型,但是在选型,要以我手上的项目的需求为准。但是我不太了解大模型部署这块。我印象里qwen 3.8 27b应该是性价比最高的吧,但是我找不到渠道测一下。配置好像是H800
qwen 3.8 27b量化的版本没这么高要求,佬可以让ai搜搜hugging face上的资源看看,一张简单的24G显存显卡就可以跑起来了,就是上下文、每秒token数没这么高
我们公司的内网有
不过整个公司就基本我一个人用
openrouter有,不过不是免费的。既然是公司用,可以冲点钱试试。很便宜的
AMD云有,你可以去看看。
runinfra 可以看看,他家的标价似乎相对便宜点
command code里有10刀可以用70刀额度..
其实不用怎么测,你是单卡H800吗,其实部署27b 满血版我觉得就挺好的,我们现在L20 两张部署的27b fp8使用体验就非常好
看下聊天
我提供给你 qwen3.8 27b
3.8flash
ds41f glm53f
便于测试
可以自己本地跑啊
有国产化要求吗 ?要求什么性能?