体验了下 LLama3-70B 的速度

[chasays]

体验地址：

Groq is Fast AI Inference

8B 速度快，70B 速度慢，质量高。
速度快的很，但是对于 code ，生成的质量不是很好。

本地部署，结合翻译和其他 code copilot 还不错的

[Coker]

用的它家的免费 api， 感觉70b 的速度也是很快的

[lueluelue]

groq现在有mixtral 7x22b了吗

[lueluelue]

啊还没有

[baipiaodang (C)]

HuggingChat

可以嘛

[bbb]

你开网络搜索能用吗，我这报错

[lueluelue]

飞一样的速度

[Leon01]

8b的速度相当恐怖

[fiyu]

只能回复几条？没有聊天记录？

[amini]

测试了一下，我还没反应过来，就生成了答案。