最近也在本地试了anythingllm+ollama+qwen2.5,这个输出速度主要取决于什么呢,电脑内存够大,CPU也还行,是取决于GPU哇?现在响应有点慢,主要是为了搭建个人知识库,有些东西不便于上传,而且可能需要部署到局域网内。
本地部署啥意思? 不联网也能用?
我也是不知道够不够,今晚不加班回去就试试,一直没时间试试
是的,可以不联网,也能联网,
那得多耗内存
可能会有点,反正如果不行,我就直接newapi,搞个壳子用用拉倒了
我公司也打算本地部署一个,目前就打算弄一个qwen2.5,然后我就想本地搭建看看,但我只有13400cpu哈哈,连独立显卡都没有。。然后我同学说你搭建完之后可以用远程的api,搭配自己的知识库去做。这样真滴可以?感觉听起来怪怪的,远程api解决硬件上问题,但他怎么吃的下庞大的知识库咧
主要就是不安全吧,要用远程api,意味着数据会到那边,我也不是太清楚,
等佬的教程嘻嘻