怎么自己跑模型、token出来?

前言是,我在廊坊有机房(空的),然后跟合伙人讨论 怎么去卖算力?昨天跟合伙人沟通了下,觉得这个方向也可以。但是有些疑惑
假设说,我现在H200、B300这些卡也到了,我的机房设施完善(背书都有)。我怎么跑出来API能开始卖token?
我搜索了下方案,目前网上有 挂到算力市场出租、 接入去中心化算力网络、 自己做模型 API / 推理服务

我感觉我应该是需要第三种,因为确实有客户跟我沟通说 需要这个东西 也能去投标大企业,大概到意思是 gemini的多少钱、openai的多少钱?
那我下一步应该怎么做?市场价格是怎么样的?
有没有佬 给解惑?

10 个赞

这两个是闭源的你部署不了,只能部署国内开源模型

1 个赞

基本上也只能是跑一跑开源模型 (DSv4 Pro / Flash, GLM-5.2, Kimi-K2.6) 之类的
接下来估计是先搞定推理服务/资源调度啥的
价格的话 感觉基本上可以参考这些模型的API官方价

2 个赞

做中转的话不需要显卡 只需要网络畅通+考虑并发就完了


刚刚L站好像卡了。。。我看到你的回复通知了但也没刷出来你的回复

1 个赞

自建立基本上很难。你如果卖的人多 你扛不住,如果你卖的人少你算力空闲。价格高没人要,价格便宜不回本。

2 个赞

你找个ai交流清楚吧,什么是开源模型,模型怎么部署,怎么提供接口服务

2 个赞

建议部署GLM 5.2吧 这个目前还是非常炽手可热的 应该能带来比其他模型更高的收益

2 个赞

除了佬们上面说的DS,kimi,glm之类的也可以看看生图、生视频模型,都有开源的。去huggingFace上看看~

奇怪啊,那为什么我有个客户问我这个多少钱?难道他以为我是卖别人的token的?

我今天对的一个客户说,国模 他们相不中。

大概只能部署国内开源模型,你要算下成本,估计要 5 折以下,可以报价给我,作为渠道接入,上市公司

那我还需要那么好的显卡吗?或则还需要什么

自己做基本也就是部署一些开源模型,如果有技术自己精调一下,没有就直接提供API来卖了

你自己部署卖出去的成本不可能比大厂低

那这种 不算太好的模型 有人买吗?我看很多客户都是瞄准了国外模型的

这个我还在摸索的路上,如果能搞得下来 当然可以提供合作

买卡然后部署国内的开源模型 DeepSeek 和 glm

你去找智谱。 我记得他们有toB 的私有化模型部署服务。

他们部署好,你们对外卖就行了。 现在好卖。

1 个赞

佬们,本地买设备部署开源模型 大概费用是多少呀?有了解过的吗,需要准备些什么

奇怪啊,我的回复咋没了?刚回复了好多条呢 闪了一下