公司计划部署deepseek，然后结合公司的文档，搞一个AI模型，然后暴露在某个产品中使用（公司产品，访问量的话，一天估计也就几次到几十次对话），请教下大家，怎么选型（大模型的参数7b 14b 32b？到底哪个比较合适）以及服务器配置（阿里云还是什么？多少的配置），以及怎么结合知识库暴露出去接口呢？
没弄过结合知识库的，这个应该怎么弄？
19 个赞
没弄过结合知识库并且暴露在公网的，这种应该怎么弄， Cherry Studio是本地知识库，怎么弄个可以访问接口的呢
1 个赞
用dify吧
1 个赞
Maxkb 看一下呢。体验了一下感觉还行，符合你描述的场景，不过我这里几个人的团队。没怎么深入使用
模型最好 32B 以上 43090 或 44090 就可以了。我这里是 4*3090 vllm 运行 32b 的模型。仅供参考
2 个赞
https://zhuanlan.zhihu.com/p/20619350390 确实看了看这个文档，可以实现，
3 个赞
主要是还有其他的方法吗？或者说部署这种知识库的话，哪个方案用的比较多呢？主要是想用个用的最多的方式，后期调试起来，也好查资料
1 个赞
自用的fastgpt，可以通过url访问或者api调用对应的应用或者知识库
谢谢，我一会找找资料
对，我看fastgpt和 dify这俩活跃点
请教个问题，docker重启之后，MaxKB的配置还会存在吗？没看到MaxKB数据库相关的配置啊
知识库可以用fastgpt或者dify
3 个赞
他给到的docker run command 里有~/.maxkb:/var/lib/postgresql/data
具体的可以在您试用各个产品后有兴趣的话加他们群看看吧。我觉得 maxkb 知名度确实不如 dify
感谢，一会我看看
我实际测试过，fastgpt知识库准确性更高，dify的应用流更好
1 个赞
我现在的方案是:dify工作流+ragflow知识库,跑起来还不错
dify的知识库实在太拉跨了.ragflow的知识库召回效果不错.
当然知识库也是需要整理的, 我格式化成markdown格式,然后用llm整理成内聚型文档.
fastgpt知识库网传也不错,部署没有dify的一键部署方便.
5 个赞
蹲并干中学
1 个赞
现在在看FastGPT，感觉还不错
1 个赞
目前也是在调研,用的 Maxkb + 在线 deepseek模型(后面考虑自己部署), 说实话 一天几十次调用,不如用api,考虑数据问题,还是自己部署好
持续关注
自己用的话弄个本地知识库比较简单？