如题,公司想搞自己的 deepseek ai一体机这种。我该从哪下手呢?
2 个赞
显卡,多张显卡,可以插多张显卡的主板,
单片机+屏幕+硅基流动api
问问deepseek
1 个赞
这个方案不太行。没有网络
有道理,我问的grok
你先考虑部署多大参数的模型,大家才好推荐,另外还有并发数(同时访问人数),这都很关键
没明白?像搞自己的一体机去卖?那不懂的话就直接抄同行的方案呗
对,捆绑销售
那就不用想太多,去抄同行的方案吧。尤其是还需要你到L 站来问的话
参数我也不知道上多高的,就想了解个过程
去买个现成的然后逆向么?
我猜是部署deepseek
1 个赞
先去找找,有些卖的会直接给方案,最近在公众号偶尔有看到。实在不行再去买/租一台拆来看看都有啥
首先不是考虑多大的模型干多大的活?7b模型写sql查询语句都吃力
另外预算决定一切,话说先了解一下市面上的方案和价格,把选择权留给领导更好
1 个赞
先看多少预算吧。
其实就是多pcie的服务器或者工作站,如果不用gpu推理,可以使用纯内存推理,都是预算使然
在不考虑每秒token数的情况下,甚至全量模型都能跑
有钱直接买对应配置的服务器
都有现成的配置,自己又不需要做什么
哦?
比如买个 昇腾?
从加钱入手
ktrans…
1 个赞