比如说mistral nemo 12b的q4量化和gemma2 9b的q8量化大家选哪个（包括但不限于这两个模型）
最近给在保密区内不能联网的同事推荐大模型，大家还有没有小参数量(10b)左右的模型推荐的，只支持英文的也行
1 个赞
一般是低精度大模型会比小模型高精度要好（存储同等大小情况），但是就你这个例子我宁愿选 gemma2 9b，这是个公认的好模型
然后就是 glm4 9b 也可以看看，qwen2 7b 也可以看看，最近还出了个 qwen2 vl 7b，有多模态需求也是不错的
1 个赞