快速搭建自己的 简单的RAG 大模型网站
之前在我分享自己的免费 AI 站点时,有佬友询问如何快速搭建。今天就来简单说明一下。
开源项目众多,比如 Chatbot UI、KoalaChat、lobechat、NextChat 等,这里我选择以 lobechat 为例进行讲解。除了网页客户端,还需要一个 API 聚合和管理工具,类似工具包括 One API 和 New API,我这里选择 New API 。其实这些工具很多地方大同小异,掌握其中一个,其他的也能很快上手。
安装 lobechat
lobechat 有本地数据版和知识库版,我们选择最简单的本地数据版进行安装。打开以下链接访问官网,按提示操作即可。
lobechat docker 官方安装文档
安装过程中,重点关注以下参数:
ports:
- '3210:3210'
environment:
OPENAI_API_KEY: sk-xxxx
OPENAI_PROXY_URL: https://api-proxy.com/v1
ACCESS_CODE: lobe66
- 端口号:你可以将
3210
替换为自己想要的端口号。如果希望访问时不带端口,可以使用类似 NGINX 的工具进行代理。使用 NGINX 代理时,要注意不要设置缓存,并且需要开启 WebSocket(WS)。 - API 密钥与代理地址:如果后续打算使用 New API,
OPENAI_API_KEY
和OPENAI_PROXY_URL
先保持默认,待配置好 New API 后再填入相应信息并重启服务。如果你只想使用 OpenAI 系列的服务,可直接填入从 OpenAI或者第三方 获取的对应信息。 - 访问密码:如果你希望网站仅供自己和朋友使用,可以设置对应的访问密码(
ACCESS_CODE
);如果打算公开网站,则无需设置。 - 更多信息:如需了解更多环境变量说明,可参考 更多环境变量说明
安装完成后,打开浏览器访问 http://127.0.0.1:3210
,若能成功打开页面,则表示安装成功。
安装 New API
打开以下链接访问官网,按照提示进行安装:
New API GitHub 文档
安装时需注意以下几点:
- 工具依赖:安装前需要安装好 git 工具。以 Ubuntu 系统为例,可使用命令
sudo apt update
进行更新操作。 - Docker 版本:较旧的 Docker 版本使用
docker - compose
,较新的版本使用docker compose
。如果其中一个无法使用,可以尝试换用另一个。若两个都无法使用,则说明 Docker 可能未正确安装。请参照官网安装 - 端口号:默认端口号为
3000
,如果该端口已被占用,可以在docker - compose.yml
文件中修改为其他未被使用的端口。
安装完成后,进行渠道配置:
- 新增渠道:进入配置页面后,点击新增渠道的按钮。
- 选择类型:以 OpenAI 接口为例,类型选择默认选项。
- 代理地址设置:如果你使用的是国外服务器或者已经配置好科学上网环境,可无需填写代理地址。若没有,则需要填写一个代理地址。如果是使用国内二道贩子提供的服务,要填写他们提供的代理地址,并且该地址要与下面填写的密钥相对应。
- 填写 API 密钥:在对应位置填入有效的 API 密钥。
- 选择模型:在模型选项中,默认填入相应的模型信息即可。
接下来进行令牌创建:
具体操作如下:
- 进入令牌页面:在菜单栏中点击“令牌”选项,然后选择“创建令牌”。
- 填写信息:填写令牌名称,选择是否限制额度(这里建议选择无限额,具体可根据个人需求决定),是否限制模型也可根据自己的情况进行设置。
- 复制密钥:点击复制按钮,复制生成的密钥,后续会用到。
安装RAGFlow
打开以下链接访问官网,按照提示进行安装:
[RAGFlow GitHub 文档]
(ragflow/README_zh.md at main · infiniflow/ragflow · GitHub)
如上图所示,必要的硬件资源如上(太少资源就舍弃掉这一块吧,先搭建一个UI网站)。
搭建完成后进行以下几步,以最简单的例子
- 新建知识库。需要注意的是需要在我的那里模型服务商配置好,之前在NewApi 创建的秘钥和部署网址链接填进去
- 然后系统模型设置那里要选择一个聊天模型和嵌入模型(一般是以embedding结尾模型)
- 可以上传word等文档,上传后记得解析。
- 新建聊天将知识库设置好就可以像下图进行测试了。
- 重点来了!怎么集成到NewAPi?选择聊天设置—》部分嵌入—》如何使用聊天ID
- 好的我们到NewAPI新建自定义渠道新建自定义模型模型,按照上面的规则填充。
- 1.固定格式
{你的RAGFlow部署地址和端口}/api/v1/chats/{model}/sessions
- 2.填你在RAGFlow“我的” -"API Key"秘钥(没有就创建)
- 3.填你的聊天
和想要自定义模型的名称(聊天ID太长且不语义化所以才要设置自定义名称)
- 4.填入后点击填入按钮就行
- 5.完成聊天ID和你自定义模型的映射关系
- 1.固定格式
- 接下来到激动人心的测试环节。点击模型测试,测试成功就行。
- 然后再lobechat的.env里填入你自定义模型名称
- 然后再lobechat的.env里填入你自定义模型名称
将 New API 生成的密钥应用到 lobechat
修改之前的配置文件:
version: '3.8'
services:
lobe-chat:
image: lobehub/lobe-chat
container_name: lobe-chat
restart: always
ports:
- '3210:3210'
#environment:
#OPENAI_API_KEY: sk-xxxx
#OPENAI_PROXY_URL: https://api-proxy.com/v1
#ACCESS_CODE: lobe66
env_file:
- .env
restart: always
创建一个 .env
配置文件(与 docker - compose.yml
文件位于同一目录下),将环境变量统一管理:
### OpenAI ###
# 你的 NewAPI 生成 密钥
OPENAI_API_KEY=sk-**********
# 使用代理连接到 OpenAI 部署的地址 注意带/v1,同一台机器可以使用内网地址,降低延迟
OPENAI_PROXY_URL=http://192.168.*****/v1
# 添加自定义模型名称,多个模型用逗号分隔。还有国产一些模型例如 豆包,通义千问,混元等想以openAI格式加入的
填入RAGFlow在New API设置自定义模型
OPENAI_MODEL_LIST=+myRAGFlow
- 重启服务:配置修改后,需要使用
docker compose restart
命令重启服务。(有志于安装知识库的朋友,这个命令可能不生效,需要docker compose down
然后docker compose up -d
) - 查看日志:若在配置过程中遇到问题,可以使用
docker compose logs
命令查看日志,以便排查问题。
开箱即用,纵享丝滑
如果你想快速体验,我这里也准备好我自己搭的镜像站点,向佬友们免费提供。无登录无限制100+多的模型,涵盖deepseek满血版、蒸馏版、XAI、豆包、星火、通义千问、百度千帆、商汤、百川以及海外openrouter、grop、cloudflare等大模型。
点击体验吧
https://freelyai.liujiarong.online
搭建或者使用遇到问题,欢迎反馈提出