领导想计算一下购买显卡部署本地的ai,和购买ai订阅哪个划算

领导想计算一下购买部署本地的ai,和购买ai订阅哪个划算
有没有佬对这方面了解的,可以聊一下吗

ai用在什么场景?如果是编程,开源的模型恐怕胜任不了

预算多少?多少人用?用什么模型?
如果是小公司,就几个开发,还不如直接买AI订阅

自动化测试,然后编程能力也是需要的。反正目前打算评估一下看看

目前没和我说预算,让我先做个excel给他展示一下,我们公司蛮大的,台北是总公司,苏州这边分公司也600多人

那肯定是购买划算了,自建预算不要太高了。

好的,谢谢佬,那我还是先去做个excel给领导自己去评估把。。

就开发团队用吗?
如果要本地部署,那就只能选开源模型了。
还有一点,硬件会贬值,也要算进去。

要求这么高,百万感觉都实现不了,而且AI发展这么快。

看公司规模。但是维护价格我觉得也是一大笔。

自建的话成本非常高 我们公司的 h20 跑 glm 两个实例,只能跑 20 个并发左右,而且 token 数是非常慢的,一早上只有 808 请求,in/out 一千八百万/五十万 这样,这些数据是我刚刚看的

开发,测试都打算使用。好的佬你说的贬值确实应该考虑进来

非常感谢大佬提供的数据!!请问知道成本花了多少吗

内存没涨价之前 大约两百万不到 现在估计得两百多一台了

所有ai大模型公司都在亏钱,你想是买还是租合算?

推荐目前还是订阅吧,AI这东西发展太快,如果现在就定型了,长期来看,本地部署在一定时间后会有优势。

正好我也有这方面需求,领导前期给了30万预算,以后可能会再次增加预算,所以这次想着能搭一个好扩展的算力服务器,主要想搭建一个我们公司自己的知识库用于智能问答和能耗预测,不知道各位佬能不能给点意见;

30w?这是真的不可能够的。至少300w才能溅起水花

我们不需要编程等功能,平常大部分也就是服务器调用进行数值预测

三十万可以跑私有文档库的 RAG,然后生成回答租用 api