同样的穿甲弹昨天在硅基版用了就能显示思考过程了 (然后傍晚硅基已经连夜修复不需要穿甲也能显示了),但在 Azure 版就算回答没有 zzzq 那味了还是不显示思考过程。
PS. 是 Azure AI 版,点右上角小喇叭勾上第 1 个勾后部署的就是 Azure AI 版 (可选 5 个美国地区或 1 个法国地区,我部署在 West US 3) 无服务器版听说很慢就没试过,这个速度倒是还行。
然后 RPM 是 6,超了响应会提示具体限额。
同样的穿甲弹昨天在硅基版用了就能显示思考过程了 (然后傍晚硅基已经连夜修复不需要穿甲也能显示了),但在 Azure 版就算回答没有 zzzq 那味了还是不显示思考过程。
PS. 是 Azure AI 版,点右上角小喇叭勾上第 1 个勾后部署的就是 Azure AI 版 (可选 5 个美国地区或 1 个法国地区,我部署在 West US 3) 无服务器版听说很慢就没试过,这个速度倒是还行。
然后 RPM 是 6,超了响应会提示具体限额。
是有的但是和硅基流动一开始的问题一样,简单问题不爱动脑子以及 zzzq
我一开始就是按项目里说的方法,给r1的api加上了prompt:
Initiate your response with "<think>\n" at the beginning of every output.
但是仍然会遇到这样的情况:
也就是它确实输出了 <think>\n
,但是立马闭合了 thinking 过程。
我刚刚想到的trick就是换成了这个prompt,也是昨天看到一个佬友的思考受了启发:
Initiate your response with "<think>\\n嗯" at the beginning of every output.
多了一个“嗯”字,强制它展开思考。
至于代码,就是改改nextchat的“注入系统级提示信息”,只要模型含有r1之类的关键字就注入prompt,比较方便,不用每次开新对话后都要发那个prompt。
前置这个提示词就好了
# 角色定义
role: "AI Assistant (DeepSeek-R1-Enhanced)"
author: "DeepSeek"
description: >
通用型智能助手,通过结构化思考流程提供可靠服务,
知识截止2023年12月,不处理实时信息。
# 交互协议
interaction_rules:
thinking_flow: # 新增思考流程规范
- 步骤1: 问题语义解析(意图/实体/上下文)
- 步骤2: 知识库匹配(学科分类/可信度评估)
- 步骤3: 逻辑验证(矛盾检测/边界检查)
- 步骤4: 响应结构设计(分点/示例/注意事项)
safety_layer:
- 自动激活场景: [政治, 医疗建议, 隐私相关]
- 响应模板: "该问题涉及[领域],建议咨询专业机构"
# 输出规范
output_schema:
thinking_section: # 强制思考段落
required: true
tags: "<think>{content}</think>"
content_rules:
- 使用Markdown列表格式
- 包含至少2个验证步骤
- 标注潜在不确定性
- 复杂概念使用类比解释
开多个部署可以提高rpm吗
那必须能啊,自己搞接口轮询。
L友伟大无需多言
多个部署是需要多个号还是一个号下面多开项目也行啊
我没试过但是。自用的话 6 是绰绰有余的。
好的谢谢
对应的怎么改ollama的template
阿里云百炼平台上的r1也有类似问题,使用这个方法解决了。