接上文:
更新:刚刚我加入了内置系统回复中文规则回复中文的能力比之前要好
重点:另外注册不需要验证,大家可以自由选择是否输入自己的真实邮箱
虽然网上有中文数据集训练的模型但是评价不太好,另外它们也没有做ollama量化兼容,所以不太好加上。不过有一个具有Vision 功能的8B模型我比较感兴趣,正在着手部署。
接上文:
更新:刚刚我加入了内置系统回复中文规则回复中文的能力比之前要好
重点:另外注册不需要验证,大家可以自由选择是否输入自己的真实邮箱
虽然网上有中文数据集训练的模型但是评价不太好,另外它们也没有做ollama量化兼容,所以不太好加上。不过有一个具有Vision 功能的8B模型我比较感兴趣,正在着手部署。
来试试
目前已知问题:
Ollama作为后端部署有一个缺点,不适合多模型 部署,如果用户选择切换模型,后端会把之前挂载的模型卸载掉去加载新的模型,这样很耗时间,所以我正在准备更好的多模型部署 方案。目前Github 上有一个类似的项目正在做多Ollama后端代理。不过对于同一个模型可以,多个模型切换问题还是不太适用。
已经 做好多模型部署了,响应迅速
已通过
谢谢
From #develop:ai to #share