Ollama不支持图形化，GPT4all不可用ds模型，强行使用非官方模型易出错，这是可以破的吗？
4 Likes
cherry-studio 可以接入本地 ollama api 地址
3 Likes
ollama + openwebui
2 Likes
具体怎么接？
openwebui怎么弄啊？门槛高不高
ollama + openwebui 或cherry studio
完美
openwebui 和cherry studio有什么区别？这俩部署的门槛专业性高不高？能弄吗
能弄14b？2060只能弄7b吧？能上deepseek什么模型？大概占用硬盘空间多少？
这俩就是软件, 不用部署, 安装完设置一下就用起来, 你搞定ollama就行了
ollama好弄吗？必须输入代码？openwebui 和cherry studio有下载地址吗
教程一搜一堆啊
1 Like
嗯，好吧
1 Like
你这个LM Studio比那两个openwebui 和cherry studio怎么样？
这两个都没有可比性，lmstudio 是运行模型构建起服务器负责模型推理解算，图形化界面，同类替代ollama。
openwebui和cherry 是使用提供的api，作为客户端使用服务的，给你一个使用界面。同类型替代:chatbox。
建议lmstudio ＋ cherry即可，按照现有的硬件配置，也就deepseek 蒸馏模型 qwen2.5 7b q5或者q6量化级别流畅体验最佳，14b可用，但吐字速度慢很影响体验。
1 Like
嗯，貌似本地可以运行32b的
另外，都lmstudio 界面化了，为什么还要＋ cherry？
LLMstudio。舒服，记得显存够的时候把模型全部加载到显卡，别用内存慢的很
lmstudio图形化简化的是下载模型，装载模型的流程，使用api功能有 但是缺少类似于分支，编辑，markdown精致渲染，latex公式等提高体验的功能。
只要内存（内存＋显卡存储）够大，670b原版都可以跑通运行，但是既然本地化那还是要考虑吐字速度。30min吐一个字你可以接受嘛（实际不会这么慢）？
你的硬件7b或者14b是非常舒服的，速度比网络传输的api速度要快，体验感极佳。32b不建议尝试，存在一个边际效益递减的问题，32b是好，但是综合起来体验感好的没有那么明显。
1 Like