想自己搭一个开源大语言模型来进行批量的语义总结。
目前准备搭llama3.2，好兄弟还有别的推荐吗。
或者有人用过智谱的免费模型吗，对比常见的开源模型能力感觉咋样
就用本机跑 ==> M2 pro 32G
3 Likes
- 自己部署由于硬件配置问题往往都是不尽人意
- 总结方面的如果是中文可以用智普的，其他语言用 llama 没毛病
- 本地模型最好选可以微调和嵌入的
1 Like
感谢，我先用ollama随便启了个 llama3.2 11b的试一段时间看看吧
我也是M2pro 但是内存只有16G. 我大概就是跑一些12B一下的4bit模型.
总结来看,如果跑MLX运行时的模型不算多,有 qwen2、llama3系 ministral、minicpm这些吧. 大概是30tokens/s
如果是跑ollama模型会多些.
目前主要是调用网络开源模型比较多,比图groq、grok、siciliflow、国内送的模型.
智谱模型就glm4 吧?