🚀内置回复中文规则的Llama3 70B 模型 欢迎大家继续来体验!

接上文:

更新:刚刚我加入了内置系统回复中文规则回复中文的能力比之前要好

重点:另外注册不需要验证,大家可以自由选择是否输入自己的真实邮箱

虽然网上有中文数据集训练的模型但是评价不太好,另外它们也没有做ollama量化兼容,所以不太好加上。不过有一个具有Vision 功能的8B模型我比较感兴趣,正在着手部署。

4 个赞

来试试

目前已知问题:

Ollama作为后端部署有一个缺点,不适合多模型 部署,如果用户选择切换模型,后端会把之前挂载的模型卸载掉去加载新的模型,这样很耗时间,所以我正在准备更好的多模型部署 方案。目前Github 上有一个类似的项目正在做多Ollama后端代理。不过对于同一个模型可以,多个模型切换问题还是不太适用。

已经 做好多模型部署了,响应迅速

我用了联通微调的中


文版Llama3 8B,具体表现一般,算不错了。

已通过

谢谢

From #develop:ai to #share