佬友们,想给我的工作文件上传到本地知识库

我是做电力工程设计的,攒了一堆的各种资料和图纸,想要给他们全都上传到知识库里索引查询,有各种文档、表格、图片、PDF,DWG 图纸就不考虑了,这个似乎很难有对应工具,大部分应该都有对应的 pdf 图纸了,有没有适合我这种情况使用的,要有 ocr 识别等功能,尽量轻量一些吧,我个人使用

问了 AI 说是推荐用 AnythingLLM,不知道靠不靠谱

前段时间有和您一样的需求,最后折腾半天,结论如下

  1. 现在模型上下文普遍都足够大,不用提前embedding,放在一个文件夹里,给codex/Claude code文件夹权限,让他查询即可。虽然agent能对文件里面的内容进行搜索,但文件的标题要取得足够清晰,甚至最好自己提前做一个索引文件。
  2. 自己折腾出来的实现方式的最终效果,从易用性,智能程度等来说,都不如谷歌的notebooklm远矣

文件太琐碎了,我刚才统计了下,有上百 GB 的文件,一共一万多的文件,这些不可能全都喂给 AI 吧,上下文也就 1M

那您这个数据量,估计embedding也不太行,唯一的方法就是您建好索引,让ai按需要调用了

这下麻烦了,我先试试 AnythingLLM 效果怎么样吧

码一下,同设计行业,有同需求,等待楼主解决方案。

我也没啥解决方案,我先按 AI 说的部署个 AnythingLLM 试试水,这个看上去比较简单

PGSQL 欢迎你~
embedding~embedding~embedding~把数据全部embedding!

PostgreSQL 数据库 他有适合AI的搜索插件

数据库一窍不通啊,对我这种小白太难了 :joy:

一切都可以交给龙虾,让他去帮你 把 embedding 之后的数据 导入 pgsql 然后 安装各种插件

embedding 需要的数据 也可以让龙虾搞定~

龙虾用过一段时间,不太喜欢用这个操作,怕给我数据火葬场了 = =

开始尝试一键炸机

肯定是操作复制粘贴出来的数据呀,备份 备份 备份 主文件不要动。

之后我再试试龙虾的方案,一直感觉龙虾就是草台班子产品,之前用的时候天天炸天天改,更新一次炸一次

open webui 有个本地版,文档部分试试 Docling (提取) + BGE-M3 向量化,再搞个重排模型增加下精度


补充一下:
Top K 和 Top K Reranker 数值建议调整大点,效果自己测试下

对 openwebui 有不好的印象,以前折腾没搞好,卡的不行 :joy:
不知道现在咋样了

可以尝试用大模型帮你分析各种数据,并建立索引

以前在这里看过有佬推荐的lightrag

可以跟openwebui结合起来用

就是很费tokens

卡是因为部署在服务器上了,加载慢。
不过你完全本地部署,gemma4:26b 有18GB,加上 向量化模型+重排模型,总体30G应该能搞定。完全拒绝于你是什么显卡了,丐有丐的方案

感觉他主要会卡在图上面
很久没搞通用 RAG 了
图文混合不知道有没有即开即用的方案 :distorted_face: