[开源] (支持o1,道德审查)开发了一个适合宝宝体质的 API 转发器 uni-api,目前已经 200+ star

佬github已提交issue,不知道这个建议如何,可以看一眼哈 :bili_003::
在部分API中调用模型时(如Gemini、Github Models等)流式输出并非逐字符输出,而是多个大型响应块,这样很影响输出时的观感。可以在api.yaml 增加一个选项作为 LLM 输出的优化选择吗?这或许是一个非常好的特性

PS:
部分项目对于这种大型响应块是有优化的,但是有些没有例如:OpenWebUI
如果可以,我也乐意参与这个输出优化的开发中

相关链接:

1 个赞