其实在Azure上部署之后,连接到New-API上很简单。
一开始我以为New-API不支持微软的无服务器服务,后面受到佬的启发,直接用OpenAI的渠道就可以,代理和秘钥填终结点网址和秘钥就可以了,模型填DeepSeek-R1,好像填部署名也可以(比如DeepSeek-R1-xxx)。
直接连到CherryStudio上也是可以的,同样是选择OpenAI渠道,填法一样的
至于思维链怎么输出,我试了好几种方法后找到了。诀窍就是在CherryStudio里,不要用默认助手,而是要用一个带提示词设置的助手,比如“
开发工程师 - Software Engineer”带有提示词,然后CherryStudio就可以输出思维链了!很神奇,目前不清楚为何会这样。
23 个赞
Cherry 没有COT输出,其实这个R1部署在Azure的操场里也没有COT输出,怀疑部署本身就是不支持COT输出的。
1 个赞
这个吗
import os
from azure.ai.inference import ChatCompletionsClient
from azure.ai.inference.models import SystemMessage, UserMessage
from azure.core.credentials import AzureKeyCredential
endpoint = “<ENDPOINT_URL>”
model_name = “DeepSeek-R1”
client = ChatCompletionsClient(
endpoint=endpoint,
credential=AzureKeyCredential(key),
)
response = client.complete(
stream=True,
messages=[
SystemMessage(content=“You are a helpful assistant.”),
UserMessage(content=“I am going to Paris, what should I see?”)
],
max_tokens=2048,
model=model_name
)
for update in response:
if update.choices:
print(update.choices[0].delta.content or “”, end=“”)
client.close()
我找到诀窍了,在CherryStudio里,不要用默认助手,而是要用一个带提示词设置的助手,比如“
开发工程师 - Software Engineer”带有提示词,然后CherryStudio就可以输出思维链了
1 个赞