如何快速搭建自己的简单的RAG大模型网站 (附上资源)

快速搭建自己的 简单的RAG 大模型网站

之前在我分享自己的免费 AI 站点时,有佬友询问如何快速搭建。今天就来简单说明一下。

开源项目众多,比如 Chatbot UI、KoalaChat、lobechat、NextChat 等,这里我选择以 lobechat 为例进行讲解。除了网页客户端,还需要一个 API 聚合和管理工具,类似工具包括 One API 和 New API,我这里选择 New API 。其实这些工具很多地方大同小异,掌握其中一个,其他的也能很快上手。

安装 lobechat

lobechat 有本地数据版和知识库版,我们选择最简单的本地数据版进行安装。打开以下链接访问官网,按提示操作即可。
lobechat docker 官方安装文档

安装过程中,重点关注以下参数:

ports:
      - '3210:3210'
    environment:
      OPENAI_API_KEY: sk-xxxx
      OPENAI_PROXY_URL: https://api-proxy.com/v1
      ACCESS_CODE: lobe66
  • 端口号:你可以将 3210 替换为自己想要的端口号。如果希望访问时不带端口,可以使用类似 NGINX 的工具进行代理。使用 NGINX 代理时,要注意不要设置缓存,并且需要开启 WebSocket(WS)。
  • API 密钥与代理地址:如果后续打算使用 New API,OPENAI_API_KEYOPENAI_PROXY_URL 先保持默认,待配置好 New API 后再填入相应信息并重启服务。如果你只想使用 OpenAI 系列的服务,可直接填入从 OpenAI或者第三方 获取的对应信息。
  • 访问密码:如果你希望网站仅供自己和朋友使用,可以设置对应的访问密码(ACCESS_CODE);如果打算公开网站,则无需设置。
  • 更多信息:如需了解更多环境变量说明,可参考 更多环境变量说明

安装完成后,打开浏览器访问 http://127.0.0.1:3210,若能成功打开页面,则表示安装成功。

安装 New API

打开以下链接访问官网,按照提示进行安装:
New API GitHub 文档

安装时需注意以下几点:

  • 工具依赖:安装前需要安装好 git 工具。以 Ubuntu 系统为例,可使用命令 sudo apt update 进行更新操作。
  • Docker 版本:较旧的 Docker 版本使用 docker - compose,较新的版本使用 docker compose。如果其中一个无法使用,可以尝试换用另一个。若两个都无法使用,则说明 Docker 可能未正确安装。请参照官网安装
  • 端口号:默认端口号为 3000,如果该端口已被占用,可以在 docker - compose.yml 文件中修改为其他未被使用的端口。

安装完成后,进行渠道配置:


  1. 新增渠道:进入配置页面后,点击新增渠道的按钮。
  2. 选择类型:以 OpenAI 接口为例,类型选择默认选项。
  3. 代理地址设置:如果你使用的是国外服务器或者已经配置好科学上网环境,可无需填写代理地址。若没有,则需要填写一个代理地址。如果是使用国内二道贩子提供的服务,要填写他们提供的代理地址,并且该地址要与下面填写的密钥相对应。
  4. 填写 API 密钥:在对应位置填入有效的 API 密钥。
  5. 选择模型:在模型选项中,默认填入相应的模型信息即可。

接下来进行令牌创建:


具体操作如下:

  1. 进入令牌页面:在菜单栏中点击“令牌”选项,然后选择“创建令牌”。
  2. 填写信息:填写令牌名称,选择是否限制额度(这里建议选择无限额,具体可根据个人需求决定),是否限制模型也可根据自己的情况进行设置。
  3. 复制密钥:点击复制按钮,复制生成的密钥,后续会用到。

安装RAGFlow

打开以下链接访问官网,按照提示进行安装:
[RAGFlow GitHub 文档]
(ragflow/README_zh.md at main · infiniflow/ragflow · GitHub)

如上图所示,必要的硬件资源如上(太少资源就舍弃掉这一块吧:sweat_smile:,先搭建一个UI网站)。
搭建完成后进行以下几步,以最简单的例子:chestnut:

  • 新建知识库。需要注意的是需要在我的那里模型服务商配置好,之前在NewApi 创建的秘钥和部署网址链接填进去
  • 然后系统模型设置那里要选择一个聊天模型和嵌入模型(一般是以embedding结尾模型)
  • 可以上传word等文档,上传后记得解析。
  • 新建聊天将知识库设置好就可以像下图进行测试了。
  • 重点来了!怎么集成到NewAPi?选择聊天设置—》部分嵌入—》如何使用聊天ID
  • 好的我们到NewAPI新建自定义渠道新建自定义模型模型,按照上面的规则填充。
    • 1.固定格式{你的RAGFlow部署地址和端口}/api/v1/chats/{model}/sessions
    • 2.填你在RAGFlow“我的” -"API Key"秘钥(没有就创建)
    • 3.填你的聊天:id_button:和想要自定义模型的名称(聊天ID太长且不语义化所以才要设置自定义名称)
    • 4.填入后点击填入按钮就行
    • 5.完成聊天ID和你自定义模型的映射关系
  • 接下来到激动人心的测试环节。点击模型测试,测试成功就行。
    • 然后再lobechat的.env里填入你自定义模型名称:end_arrow:

将 New API 生成的密钥应用到 lobechat

修改之前的配置文件:

version: '3.8'

services:
  lobe-chat:
    image: lobehub/lobe-chat
    container_name: lobe-chat
    restart: always
    ports:
      - '3210:3210'
    #environment:
      #OPENAI_API_KEY: sk-xxxx
      #OPENAI_PROXY_URL: https://api-proxy.com/v1
      #ACCESS_CODE: lobe66
    env_file:
      - .env
    restart: always

创建一个 .env 配置文件(与 docker - compose.yml 文件位于同一目录下),将环境变量统一管理:

### OpenAI ###

# 你的 NewAPI 生成 密钥
OPENAI_API_KEY=sk-**********
# 使用代理连接到 OpenAI 部署的地址 注意带/v1,同一台机器可以使用内网地址,降低延迟
OPENAI_PROXY_URL=http://192.168.*****/v1

# 添加自定义模型名称,多个模型用逗号分隔。还有国产一些模型例如 豆包,通义千问,混元等想以openAI格式加入的
填入RAGFlow在New API设置自定义模型
OPENAI_MODEL_LIST=+myRAGFlow
  • 重启服务:配置修改后,需要使用 docker compose restart 命令重启服务。(有志于安装知识库的朋友,这个命令可能不生效,需要docker compose down 然后 docker compose up -d
  • 查看日志:若在配置过程中遇到问题,可以使用 docker compose logs 命令查看日志,以便排查问题。

开箱即用,纵享丝滑

如果你想快速体验,我这里也准备好我自己搭的镜像站点,向佬友们免费提供。无登录无限制100+多的模型,涵盖deepseek满血版、蒸馏版、XAI、豆包、星火、通义千问、百度千帆、商汤、百川以及海外openrouter、grop、cloudflare等大模型。


点击:backhand_index_pointing_down:t2:体验吧
https://freelyai.liujiarong.online

搭建或者使用遇到问题,欢迎反馈提出:clap:t2:

36 Likes

感谢大佬教程!

这跟RAG有啥关系?

1 Like

你这个不就是一个UI界面项目搭建吗?

1 Like

这个标题有些误导啊

请问除了标题以外,哪里将提到RAG了?

RAGFlow 忘记截取了 :joy:

马上改马上改

1 Like

刚想讨伐你,发现标题已经改了。。。

等我内容补齐再改回来 :expressionless:

感谢教程

帖子不错

蛙趣,一直免费吗 :call_me_hand:

是的,只要有资源都会一直免费

虚心接受

太强了佬,收藏了 :call_me_hand:

补上了了 :joy:

感谢大佬分享

佬,lobe这一套下来支持多租户不

先mark,得空学习的布一个。