求助有没有好用的完全离线的ai大模型使用或者类似copilot的代码补全,公司只支持内网,所以只能在离线环境下使用,无法联网
4 Likes
通义灵码,我记得支持离线模型
2 Likes
不知道这个是否满足你要求
6 Likes
ollama搭配open-webui
1 Like
办公电脑部署大模型,跑起来效果不会很拉吗?
自己部署ollama
GLM的代码模型,可以本地化部署
也许他们公司会买gpu服务器放本地运行呢
内部部署deepseek coder v2
1 Like
我也公司内网我目前的方案是 ollama+vscode的continue.dev插件 我感觉还可以的,大家有需求的话,我可以写个教程贴,说一下如何部署,配置文件的一些注意点之类的,其实也比较简单
3 Likes
需要,如果可以真的感谢
好的,明天上班摸鱼写一下,因为是内网所以要自己下载.gguf模型,我尝试过几个比较稳定的模型,到时候也分享出来
1 Like
本地模型?
ollama + override
用的哪个开源模型部署的?资源使用情况能分享下?
Tabnine我记得设置里可以选择纯离线的
ollama自用还行吧,公用并发应该不太行吧?
目前六七个人用还好,主要公司服务器内存比较大,虽然纯cpu部署,但速度还可以,目前问答用的qwen2 7b ,代码补全用的是starcode2 3b