将Github Models添加到one-api等分发平台

不知道大家都拿到Github Models的白嫖资格了没?

Github Models提供的API格式是不带v1前缀的,因此无法直接在one-api等客户端中直接使用(大家默认都是用的v1/chat/completions), 这里提供一个简单的方法来实现,Nginx做转发:

server {
    listen 80;
    server_name yourdomain.com;

    location /v1/chat/completions {
        proxy_pass https://models.inference.ai.azure.com/chat/completions;
        proxy_set_header Host models.inference.ai.azure.com;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;

        # Optional: If you need to handle SSL certificates, add the following lines
        proxy_ssl_server_name on;
        proxy_ssl_protocols TLSv1.2 TLSv1.3;
        proxy_ssl_verify off; # This is not recommended for production, use proper SSL verification instead
    }
}

=====

98 个赞

oneapi可以使用自定义渠道的

1 个赞

对,刚想说哈哈哈,填完整地址就行

转发又多套一层,太慢了

自定义渠道会在末尾加上v1/chat/completions
请求变成了https://models.inference.ai.azure.com/chat/completions/v1/chat/completions

image

填这个:https://models.inference.ai.azure.com/chat/completions

感谢分享。能在one-api里原生支持就好了。毕竟再套一层影响性能。

是不是因为你已经弄了nginx转发,我咋没问题

有朋友说One-api的自定义渠道直接填完整URL就行,实测:

我的直接填写也不行。

new-api的自定义渠道可以,one-api不行

好吧,我的是new-api

one-api确实不行,试了一早上,话说可以申请增加RPM和RPD吗

换成new-api马上可以了。one-api测试不过。

9 个赞
https://models.inference.ai.azure.com/chat/completions?

渠道填 https://models.inference.ai.azure.com/chat/completions?
完整端点加个"?"。管它后面加什么内容,直接截断path使其进入search部分。

6 个赞

实测 不生效。

1 个赞

new-api 自定义渠道完美支持

我也不知道了。我用one-api都是填完整端点最后主动加上"?"。如:
https://xxx/v1/chat/complitions?
总是能截断并生效。
这个 https://models.inference.ai.azure.com/chat/completions 端点不知道了,我没有key,试不了。
难不成这个端点,会检验search是否为空。。感觉有点怪

用new-api把比one好用