gemini现在会截断嘛

闲来无聊把玩下gemini,但是


出现了截断的问题。我表示震惊:joy:这是什么原因哇,节点问题吗,还是输出有限制

5 Likes

gemini之前的全系模型输出token都限制8k,限制的死死的
不过2.5 pro在ai studio里看,现在输出限制是64k了,你可以去ai studio里试试,gemini app不清楚

2 Likes

好的,我一直以为输出很长呢

1 Like

api会出现这种:[GoogleGenerativeAI Error]: Failed to parse stream"

aistudio很少更稳定

2 Likes

会截断的

1 Like

会的兄弟,会的

3 Likes



似乎…并没有?

2 Likes

就离谱死了,我换个节点试试去

2 Likes

你是这个问题前还有对话吗

2 Likes

截断很严重

2 Likes

换IP再试试,我用的openrouter的2.5pro,基本提问几条就要换个ip

2 Likes

我试了下 api的话 即使是付费key如果是走aistudio虽然比免费key效果好一些,但是还是会出现截断[GoogleGenerativeAI Error]: Failed to parse stream"

如果是走vertex ai就不会,如下图

2 Likes

节点问题吧 换一个试试

1 Like

会的,兄弟,会的

1 Like

我发现,网页版本的很快,没遇到问题,只是如果将网页作为应用安装,去问就容易截断:joy:

1 Like


这个是网页的,

这个是作为应用安装的。应该是这个原因

那,google 说的100万和200万的上下文,指的是哪个方面?

API会的,用studio的网页比较稳

gemini的上下文总token支持2M长度,像是chatgpt网页版,只有32k上下文,也就是说你跟他对话总量达到32k,之前的对话它就忘光了。

实际上你和ai的每次对话是把你和ai的整个对话历史都要上传给ai的

第一次对话:
user:你好
ai:你好啊
第二轮对话:
user:你是谁
ai:我是ai

在你开始第二轮对话的时候,实际上你需要把整个历史对话也要发送给ai
也就是说你发送的实际上是

《第一次对话:
user:你好
ai:你好啊
第二轮对话:
user:你是谁》

然后ai给出了回复
ai:我是ai

gemini支持的是2M上下文,也就是说

《第一次对话:
user:你好
ai:你好啊
第二轮对话:
user:你是谁》

这部分可以长达1M
但是单次回复

《ai:我是ai》

这部分只能达到8k,不过你可以通过回复“继续”,让gemini紧接着被截断的内容继续回复,然后把两次回复的内容组合起来就行。

差不多这么理解就行

4 Likes

试试这个,现在次次截断(web) :tieba_087: