闲来无聊把玩下gemini,但是
出现了截断的问题。我表示震惊

gemini之前的全系模型输出token都限制8k,限制的死死的
不过2.5 pro在ai studio里看,现在输出限制是64k了,你可以去ai studio里试试,gemini app不清楚
好的,我一直以为输出很长呢
api会出现这种:[GoogleGenerativeAI Error]: Failed to parse stream"
aistudio很少更稳定
会截断的
会的兄弟,会的
就离谱死了,我换个节点试试去
你是这个问题前还有对话吗
截断很严重
换IP再试试,我用的openrouter的2.5pro,基本提问几条就要换个ip
我试了下 api的话 即使是付费key如果是走aistudio虽然比免费key效果好一些,但是还是会出现截断[GoogleGenerativeAI Error]: Failed to parse stream"
如果是走vertex ai就不会,如下图
节点问题吧 换一个试试
会的,兄弟,会的
那,google 说的100万和200万的上下文,指的是哪个方面?
API会的,用studio的网页比较稳
gemini的上下文总token支持2M长度,像是chatgpt网页版,只有32k上下文,也就是说你跟他对话总量达到32k,之前的对话它就忘光了。
实际上你和ai的每次对话是把你和ai的整个对话历史都要上传给ai的
第一次对话:
user:你好
ai:你好啊
第二轮对话:
user:你是谁
ai:我是ai
在你开始第二轮对话的时候,实际上你需要把整个历史对话也要发送给ai
也就是说你发送的实际上是
《第一次对话:
user:你好
ai:你好啊
第二轮对话:
user:你是谁》
然后ai给出了回复
ai:我是ai
gemini支持的是2M上下文,也就是说
《第一次对话:
user:你好
ai:你好啊
第二轮对话:
user:你是谁》
这部分可以长达1M
但是单次回复
《ai:我是ai》
这部分只能达到8k,不过你可以通过回复“继续”,让gemini紧接着被截断的内容继续回复,然后把两次回复的内容组合起来就行。
差不多这么理解就行
试试这个,现在次次截断(web)