通过api调用大模型，输出长度超限被截断了，有什么好的解决方法，分多个步骤分次调用又不好拆分。那种利用大模型生成代码，那么长的输出是怎么解决的
换谷歌的模型，根本塞不满
4 Likes
大部分请求先用上下文小的大模型调用，这个比较便宜，发现有截断，换个支持上下文更长的大模型，把前面的所有message包括AI回复都加进去，user再加一句"继续"，等这个大模型续写。兼顾成本和长度
这个不是最优解吧，应该有好的解决方案
只能换模型了吧
来试试gemini exp 1206这个模型，2M的上下文，模型排行比肩o1mini，中文支持也好
主要还是免费
5 Likes
楼主要的是输出
gemini 上下文虽然大 但输出也只有 8192
照样截断
1 Like
除非特供版本. 或者你让他分批调试, 否则根本无解.目前市面上已知的模型是无法解决的你问题,
o1和o1 mini输出非常长，应该可以解决你的问题。一次写上千行都没问题
可以看个例子：
目前就 O 家在搞大输出，o1 输出上限是 100K，4o（含mini）的输出是 16K，其他主流的 Gemini、Claude 则只有 8192，下一层级的就是 4096 主流了。