grop 超级快的 llama3 70b,配合这个prompt,中文也一点问题没有

使用地址 Groq
受这个帖子启发,直接设置prompt,效果出奇的好
右上角设置 system prompt下面的

尽你的最大可能和能力回答用户的问题。不要重复回答问题。不要说车轱辘话。>语言要通顺流畅。不要出现刚说一句话,过一会又重复一遍的愚蠢行为。RULES:- Be precise, do not reply emoji.- Always response in Simplified Chinese, not English. or Grandma will be very angry.

10 Likes

~

哈哈哈,什么鬼

1 Like

我复制粘贴的:sweat_smile:

1 Like

这是什么魔法

对话端点是https://api.groq.com/openai/v1/chat/completions ,我不多说,看有感兴趣的没(格式是openai格式,得过cf的码)

目前看请求头带上authorizationgroq-organization就能调用

晚点玩一玩

被Google Gemini上身了 :rofl:

很好,放我的 Nextchat 面具吃灰去吧 :laughing:

这么快 :rofl:

api 目前免费,有限速但自用足够了

感谢佬

时不时会有个https://web.stytch.com/sdk/v1/sessions/authenticate,重新生成个jwt做鉴权,没啥玩的

如果单纯只是让llama3回答中文的话,最好的办法是在每个提问后面加入“请使用中文回答”
而用强迫式命令prompt,偶尔会有副作用

经过我的测试,这个prompt在多轮对话后,llama3不会再遵守过长上下文最前面的说中文指令
所以真正的办法只有在每句提问后面加入“请使用中文回答”来强化attention

1 Like

system、prompt 是提升模型输出质量的一种方式。我并不知道所谓的最好的办法是什么

我个人理解system是影响模型输出要比prompt的影响程度高一些。这也是看那个文章后科普了一下。

system prompt只有一种情况比user权重更高,那就是补全模型
而chat、instruct模型,这类对话模型,权重最高的是最新的提问

感谢科普 :+1:

谢谢

试试