功能特性
- 统一 API：兼容 OpenAI Chat Completions、OpenAI Responses 、Gemini Native 与 Anthropic Messages 格式，支持透传流式与非流式响应。
- 权重调度：
balancers/提供两种调度策略(根据权重大小随机/根据权重高低优先)与熔断机制，可按工具调用、结构化输出、多模态能力做智能分发。 - 可视化管理后台：Web UI（React + TypeScript + Tailwind + Vite）覆盖提供商、模型、关联、日志与指标。
- 速率与失败处理：内建速率限制兜底与提供商连通性检测，保证故障隔离。
- 本地持久化：通过纯 Go 实现的 SQLite (
db/llmio.db) 保存配置和调用记录，开箱即用。
系统概览
渠道管理
模型管理
日志记录
API KEY管理
自定义 Anthropic 令牌计数接口
docker compose 部署
services:
llmio:
image: atopos31/llmio:latest
ports:
- 7070:7070
volumes:
- ./db:/app/db
environment:
- GIN_MODE=release
- TOKEN=YOUR_TOKEN
- TZ=Asia/Shanghai
docker
docker run -d \
--name llmio \
-p 7070:7070 \
-v $(pwd)/db:/app/db \
-e GIN_MODE=release \
-e TOKEN=<YOUR_TOKEN> \
-e TZ=Asia/Shanghai \
atopos31/llmio:latest
LLMIO 仅下载一个二进制文件即可在本地运行 具体可以看github仓库
