微软发布1比特AI大模型 可在CPU运行

资源荟萃
,
1

微软研究人员推出20亿参数的1.58比特大模型BitNet b1.58 2B4T。该模型极其轻量，非嵌入式内存占用仅400MB，因此可在CPU上高效运行，甚至能在苹果M2芯片上运行。

虽然比特数减少影响精度，但得益于4万亿Token训练，其在多项基准测试中表现优于部分同类模型。不过，实现高效运行需依赖特定的bitnet.cpp推理框架，该模型已在Hugging Face开源。

4 Likes
2

希望groq能上，groq上的gemma是我用过最快中质量最好的翻译模型了，大大提升看文献的速度。这样就可以对比一下两大巨头哪个更强了。

3

大佬 用的那个看文献呀 ？？？groq 这个是那个 grok吗 ？？？

4

groq.com

5

image
image1070×769 49.2 KB

目前 用的 这个 大佬 用的什么软件，什么翻译引擎看的论文呀

6

感谢 ， 你是真快呀 哈哈哈 是住在社区了吗？？？

7

也许是吧…

8

佬，这是什么翻译软件啊

9

image
image589×292 10.3 KB

大佬是 调用这个几个模型吗 看文献，我也一直想找一个看文献好用的api

10

佬翻译用的是哪个模型，是openai的whisper-large-v3-turbo吗

11

image
佬 为啥我创建了 api 只能用这两个呢？

12

我用的是groq提供的gemma，不是grok，我用uni-api套了一下号池，提示词就稍微改了一点，增加了一些专业背景描述，效果就挺好的。