5GB左右企业私有pdf文档,想要基于大模型进行自建私有知识库,有请大佬们进来交流

叠一下buff 仅代表个人观点

3 个赞

你的意思是数据整理这一步交给AI去做,叫它生成问答结构化数据?这咋感觉和dify的Q&A模式有点像了。
感觉有点鬼畜了,用导入知识库的Q&A模式分段成问答,然后再用知识库的问答内容做微调的数据集,“取之知识库,用之知识库呀” =。= 0.0

mark一下 学习学习

2 个赞

马克学习一下,感觉会用到

2 个赞

我的意思是直接文档生成的qa去微调 中间夹知识库的操作用dify、fastgpt这些也不合适 要夹知识库这种效果的东西 我觉得结合graghrag和一些别的操作更合适(对于上下逻辑链比较长的东西 然后又要求准确性 相当费钱就是)

1 个赞

也不是说不合适 就是很奇怪这样的操作

2 个赞

要微调的,不微调emmmm ,如果不是内网,就用大模型好了,用正规渠道的哦,不然会乱答,可以试试dow
dify-on-wechat
仓库: GitHub - hanfangyuan4396/dify-on-wechat: 本项目为 chatgpt-on-wechat下游分支, 额外对接了LLMOps平台 Dify,支持Dify智能助手模式,调用工具和知识库,支持Dify工作流。 aff
一个相对详细的教程:手摸手教你把 Dify 接入微信生态: https://docs.dify.ai/v/zh-hans/learn-more/use-cases/dify-on-wechat aff

5 个赞

最近在做RAG相关的研究,感觉很适合你这样的场景。

5 个赞

mark一下,最近在学习知识库

你首先要明白微调和rag的区别和各自的适用场景,然后再决定该用什么。

大佬能举个例子么?

mark,学习

自建知识库,比如fastgpt,maxkb,dify
一般部署用docker,迁移也很方便,新机器安装docker后把旧机器的文件夹搞过来就好了

训练的话,每次要新增数据都要重新进行训练,可能没那么方便

From 人工智能 to 资源荟萃

做记号,感觉能用到

1 个赞

标记一下,点赞支持!

大佬的知识库搭建起来了么?最终敲定的哪种方案啊?希望分享一下心得 :smiling_face_with_three_hearts: :smiling_face_with_three_hearts:

我们最后选的是 二次开发 ragflow 0.0

1 个赞

我也测试过dify,fastgpt,ragflow 知识库应用,发现还是ragflow 更符合预期,同时又觉得这类知识库的应用,只是向量化。 所以想了解一下你们二次开发是针对什么进行加强呢?

1 个赞