尝试让new-api支持FIM[已完成]

因为最近 DeepSeek 官方 Api 不太稳定,想用 new-api 转一道,
突然发现 New-Api ,不支持 FIM ,昨晚简单折腾了下,固有此文。

已经向 New-Api 仓库提交 PR,待通过。
想尝鲜的朋友也可以用这个镜像
目前就改了SiliconFlow的
DeepSeek的似乎还有些问题(反正现在服务也不稳定)

ghcr.io/jyc001/new-api-fim:latest
下面是修改过程

其实很简单,主要是往GeneralOpenAIRequest 结构体里加上 suffix 字段
然后再改一下渠道的代码
总共加起来不到十行代码


ps:本人是高中生,不咋写Go,改的有点啰嗦,大佬轻喷

9 个赞

大佬!太强了!

3 个赞

太快了帅哥!

2 个赞

好厉害,

1 个赞

FIM是什么?

1 个赞

太强啦,英雄出少年

1 个赞

Fill-in-the-Middle,代码中间补全

1 个赞

明白了,谢谢

1 个赞

有点疑惑这个出发点,用 new-api 转一道能让官方 API 变稳定吗?

1 个赞

可以做负载均衡?

1 个赞

new api可以自动重试
而且也相当于做负载均衡了