下载完模型,都不知道在哪?
感谢~
没用过欸,能力怎么样
这是一个本地运行LLM的软件,不是一个模型
¯(°_o)/¯
模型就在c盘默认的.ollama文件夹里面,挺方便的反正,cpu跑个gemma:2b聊个天还是莫得问题的
Ollama还行吧,更新频率比较高,BUG修复也快。我这边Ollama上跑个llama3还是解决了公司某个业务场景狠狠涨了波工资。
本地部署70b有点问题,如上。
那么大佬能帮忙看看,这个问题吗?感觉哪里不对,又找不到怎么解决?
默认情况下,macbook的统一内存只有75%可以被用作显存。一般来说要运行llama3:70b int4量化,需要64G内存的才行。