英伟达今日宣布,DeepSeek-R1 模型现已在 build.nvidia.com 上作为 NVIDIA NIM 微服务预览版提供。DeepSeek-R1 NIM 微服务可以在单个 NVIDIA HGX H200 系统上每秒提供多达 3,872 tokens。 英伟达:DeepSeek-R1 模型现已上线 NIM 微服务平台 - IT之家
12 Likes
这就去看看
太好了!来看看
1 Like
话说这东西咋计费的,该不会让我本就不富裕的钱包雪上加霜吧
英伟达:是我的啦
1 Like
太好了,又是免费用
上一次用它,还是llama的405B模型
这个cherry怎么设置下,没有设置成功
试过的讲讲速度怎么样?
@Moeblack 佬,救一下
太慢了,而且感觉生成的东西怪怪的
用代码调用,或者加到转发里去,他这前端有问题好像,我也用不了
还可以,一秒40字(包含生成的think),和思考过程一起看,速度很不错了。
H200一秒可以生成3872 tokens,一个H200可以同时给100个人提供R1?
转发是什么啊?
你就把base_url和api_key填到webui里用
哦哦,谢谢佬了~
完全没有think啊