ollama 你们觉得好用吗?

下载完模型,都不知道在哪? :sweat_smile:

参见官方文档这里:
https://github.com/ollama/ollama/blob/main/docs/faq.md#where-are-models-stored

感谢~

没用过欸,能力怎么样

这是一个本地运行LLM的软件,不是一个模型
¯(°_o)/¯

模型就在c盘默认的.ollama文件夹里面,挺方便的反正,cpu跑个gemma:2b聊个天还是莫得问题的

Ollama还行吧,更新频率比较高,BUG修复也快。我这边Ollama上跑个llama3还是解决了公司某个业务场景狠狠涨了波工资。 :money_mouth_face:

本地部署70b有点问题,如上。

那么大佬能帮忙看看,这个问题吗?感觉哪里不对,又找不到怎么解决?

默认情况下,macbook的统一内存只有75%可以被用作显存。一般来说要运行llama3:70b int4量化,需要64G内存的才行。