老友们一般选择什么框架封装大模型并提供API服务？

nukedolby · April 28, 2025, 10:52am

FastAPI 、Flask还是Java环境？目前接触的很多开源项目都使用的Gradio ，但是生产上好像还得选型。

yym68686 · April 28, 2025, 10:59am

试试我写的 uni-api：

Throttle · April 28, 2025, 11:06am

都行啊，熟悉什么用什么；反正底层也是调用大模型的 API

Neuroplexus · April 28, 2025, 11:07am

较为成熟, 我二开 new-api 的, 很听劝, 合理的需求肯定会做

BlueSkyXN · April 28, 2025, 11:16am

用的FastAPI

github.com/BlueSkyXN/AI-DataFlux

Flux-Api.py

main

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import argparse
import uvicorn
from fastapi import FastAPI, HTTPException, BackgroundTasks, Request, Depends, Header
from fastapi.middleware.cors import CORSMiddleware
from fastapi.responses import JSONResponse, StreamingResponse
from pydantic import BaseModel, Field, model_validator
import yaml
import json
import re
import aiohttp
import asyncio
import time
import logging
import random
import threading # 保留用于锁
import os
import sys

此文件已被截断。显示原始文件

用来Auto调度

yqyan · April 28, 2025, 11:41am

FastAPI，vLLM 和 SGLang 都选择了 FastAPI

Topic		Replies	Views
佬友们python作为后端用的都是什么框架开发调优纯水	23	654	May 10, 2025
佬们，有啥开源的ai项目包含前后端的吗开发调优快问快答	12	281	May 7, 2025
想知道grok API调用的模型哪个比较强？开发调优快问快答	8	281	April 22, 2025
目前大家比较推荐的跨平台使用AI模型的API客户端是哪些？搞七捻三人工智能 , 快问快答	45	1304	November 26, 2024
随着多模态模型的发展，API调用时的数据传输怎么办，视频、音频、图片等大体积文件会造成严重的延迟和流量损耗，一次传输所有上下文不再适用了？搞七捻三人工智能	21	480	May 10, 2025

老友们一般选择什么框架封装大模型并提供API服务？

Related topics