佬github已提交issue,不知道这个建议如何,可以看一眼哈
:
在部分API中调用模型时(如Gemini、Github Models等)流式输出并非逐字符输出,而是多个大型响应块,这样很影响输出时的观感。可以在api.yaml 增加一个选项作为 LLM 输出的优化选择吗?这或许是一个非常好的特性
PS:
部分项目对于这种大型响应块是有优化的,但是有些没有例如:OpenWebUI
如果可以,我也乐意参与这个输出优化的开发中
相关链接:
佬github已提交issue,不知道这个建议如何,可以看一眼哈
:
在部分API中调用模型时(如Gemini、Github Models等)流式输出并非逐字符输出,而是多个大型响应块,这样很影响输出时的观感。可以在api.yaml 增加一个选项作为 LLM 输出的优化选择吗?这或许是一个非常好的特性
PS:
部分项目对于这种大型响应块是有优化的,但是有些没有例如:OpenWebUI
如果可以,我也乐意参与这个输出优化的开发中
相关链接: