使用免费LLM的自部署AI聊天站:LobeChat

智谱AI:
所有注册用户均可免费使用GLM-4-Flash API
https://open.bigmodel.cn/console/overview

SiliconCloud(硅基流动):
平台模型列表
Pricing

可喜可贺,智谱AI开放了免费使用的LLM API,再加上SiliconCloud提供的一堆免费模型,我们终于可以实现完全免费的AI聊天站,利用GitHub + Vercel部署,自定义一个自己的域名(好吧这个要花钱),接入上面的免费模型,搞定了。

部署

LobeChat 好像是我发现支持第三方模型厂商的项目,支持在Vercel一键部署,非常方便。

  1. 先fork项目,然后按照官方指导,启用Action后,workflow只保留Upstream Sync一个,其他的全部Disable
  1. 然后去到你的Vercel仓库,连接你的fork项目部署面板,保持默认,直接完成部署。这里先不填Environment Variables,后面直接导入就行。

设置

Vercel的项目面板中,进入lobe-chat的Project Settings

  1. Domains中添加你的域名,按照要求在DNS添加CNAME解析
  2. Environment Variables中增加变量,参考官方文档:

注:导入后value会将引号去掉,需自行添加FEATURE_FLAGS DEFAULT_AGENT_CONFIG 的引号。

# 默认关闭openAI\Ollama,可自行放开
ENABLED_OLLAMA=0
ENABLED_OPENAI=0

# 关闭了一些功能,可自行放开
FEATURE_FLAGS="-welcome_suggest,-dalle,-check_updates,-speech_to_text,-knowledge_base,+webrtc_sync"

# 默认使用智谱的glm-4-flash
DEFAULT_AGENT_CONFIG='model=glm-4-flash;provider=zhipu'

# 只保留免费的模型,根据需要自行调整
ZHIPU_MODEL_LIST=-all,+glm-4-flash

# 只保留免费的模型,根据需要自行调整
SILICONCLOUD_MODEL_LIST=-all,+Qwen/Qwen2-7B-Instruct,+01-ai/Yi-1.5-9B-Chat-16K,+internlm/internlm2_5-7b-chat,+mistralai/Mistral-7B-Instruct-v0.2

# 硅基流动的API key
SILICONCLOUD_API_KEY=

# 智谱的API key
ZHIPU_API_KEY=
  1. 编辑完变量后保存,然后去Deployments菜单,选择最新的那个任务,点击... - Redeploy,等待重新部署完成

结尾

没啦,可以愉快的访问你的域名了

11 个赞

哇,感谢你的教程!

2 个赞

感谢您的分享。

有点水的一篇

重生之我在建AI