领导想计算一下购买部署本地的ai,和购买ai订阅哪个划算
有没有佬对这方面了解的,可以聊一下吗
ai用在什么场景?如果是编程,开源的模型恐怕胜任不了
预算多少?多少人用?用什么模型?
如果是小公司,就几个开发,还不如直接买AI订阅
自动化测试,然后编程能力也是需要的。反正目前打算评估一下看看
目前没和我说预算,让我先做个excel给他展示一下,我们公司蛮大的,台北是总公司,苏州这边分公司也600多人
那肯定是购买划算了,自建预算不要太高了。
好的,谢谢佬,那我还是先去做个excel给领导自己去评估把。。
就开发团队用吗?
如果要本地部署,那就只能选开源模型了。
还有一点,硬件会贬值,也要算进去。
要求这么高,百万感觉都实现不了,而且AI发展这么快。
看公司规模。但是维护价格我觉得也是一大笔。
自建的话成本非常高 我们公司的 h20 跑 glm 两个实例,只能跑 20 个并发左右,而且 token 数是非常慢的,一早上只有 808 请求,in/out 一千八百万/五十万 这样,这些数据是我刚刚看的
开发,测试都打算使用。好的佬你说的贬值确实应该考虑进来
非常感谢大佬提供的数据!!请问知道成本花了多少吗
内存没涨价之前 大约两百万不到 现在估计得两百多一台了
所有ai大模型公司都在亏钱,你想是买还是租合算?
推荐目前还是订阅吧,AI这东西发展太快,如果现在就定型了,长期来看,本地部署在一定时间后会有优势。
正好我也有这方面需求,领导前期给了30万预算,以后可能会再次增加预算,所以这次想着能搭一个好扩展的算力服务器,主要想搭建一个我们公司自己的知识库用于智能问答和能耗预测,不知道各位佬能不能给点意见;
30w?这是真的不可能够的。至少300w才能溅起水花
我们不需要编程等功能,平常大部分也就是服务器调用进行数值预测
三十万可以跑私有文档库的 RAG,然后生成回答租用 api