佬们,AI一体机怎么自己做啊

如题,公司想搞自己的 deepseek ai一体机这种。我该从哪下手呢?

2 个赞

显卡,多张显卡,可以插多张显卡的主板,

单片机+屏幕+硅基流动api :rofl:

问问deepseek

1 个赞

这个方案不太行。没有网络

有道理,我问的grok

你先考虑部署多大参数的模型,大家才好推荐,另外还有并发数(同时访问人数),这都很关键

没明白?像搞自己的一体机去卖?那不懂的话就直接抄同行的方案呗 :rofl:

对,捆绑销售

那就不用想太多,去抄同行的方案吧。尤其是还需要你到L 站来问的话

参数我也不知道上多高的,就想了解个过程

去买个现成的然后逆向么?

我猜是部署deepseek :thinking:

1 个赞

先去找找,有些卖的会直接给方案,最近在公众号偶尔有看到。实在不行再去买/租一台拆来看看都有啥

首先不是考虑多大的模型干多大的活?7b模型写sql查询语句都吃力
另外预算决定一切,话说先了解一下市面上的方案和价格,把选择权留给领导更好

1 个赞

先看多少预算吧。

其实就是多pcie的服务器或者工作站,如果不用gpu推理,可以使用纯内存推理,都是预算使然
在不考虑每秒token数的情况下,甚至全量模型都能跑

有钱直接买对应配置的服务器

都有现成的配置,自己又不需要做什么

哦?
比如买个 昇腾?

从加钱入手
ktrans…

1 个赞