如题，想请教一下，目前本地部署gpt比较好的项目推荐吗
14 个赞
Ollama + qwen2 （阿里千问）具体参数要看内存多大
好多模型在 Ollama 官网都有
我只知道 羊驼和lmstudio
那就是ollama搭配open web吗，我只是想方便自己访问，对内存需要很大吗？
感觉对内存要求比较高，我本地是16G内存，用了5G左右了，
不看gpu显存吗？？堆个 64g内存能不能跑70b的？
想本地部署客户端还是llm+客户端，客户端可以考虑cherrystudio，至于llm需要看看你的本地配置了，恕我直言要是跑个7B 10B这个规模的模型不如去白嫖硅基流动
2 个赞
佬请细说龟鸡流动如何动……
没表达清楚，上边我提到的内存指的是GPU内存。
这个看GPU内存多一些，如果显存不大的话即便下载了参数小的模型，回答质量可能不尽人意
我用ollama加dify，模型qwen2.5:7b，电脑是4060，8G显存，速度很快
那你电脑不关机吗？我是想部署在nas上面，内存倒是有16g，但是好像cpu就很拉闸了，n97，台式机主要需要关机，nas我不关机了，有啥其他的吗
…害，看来我的nas不太行，买的垃圾小鸡更不用说了，有其他轻量级的选择吗
关机啊，docker启动的，我只在电脑上面用，nas确实好，但是可以了解一下hf方案，反正云端嘛
哦哦，我是想部署起来，在外面也能用，所以只能考虑nas或者小鸡，小鸡配置又太垃圾，就想着nas，然后反向代理出来，hf方案是什么，能说一下子吗
要不然你套壳呢，模型核心还用人家的，只不过配置自己的key， ChatGPTNextWeb/ChatGPT-Next-Web: A cross-platform ChatGPT/Gemini UI (Web / PWA / Linux / Win / MacOS). 一键拥有你自己的跨平台 ChatGPT/Gemini 应用。，参考下这个
这种和newapi一样吧，就是壳子，相当于客户端，服务用别人的，我想这ollama+openweb，这样用啥都可以，也可以用别人的模型核心，一些敏感的就用自己的
是的 主要看你配置不足，所以建议壳子
主要就是不太懂这个，我的机子就是16g内存+n97显卡，特码我感觉部署出来直接拉闸，最近一直加班才没尝试，，，，就一直逛论坛看看