模型的上下文最优区间该是多少?

个人工作一般不会涉及大型项目,在这个前提下,我想要让模型保持在最佳的状态进行工作。
从而,我开始询问fable/sol这类前沿模型上下文在哪个阈值起会开始性能下滑。
Grok 4.6:


Gemini 3.8(回答有过于追求全面的倾向):

GPT 5.6 sol(对一篇相关论文进行分析):

三者模型风格不同,Grok确定,Gemini肯定,Sol论定,但一致的默认区间,都认为256k之前模型会保有最佳性能,300k(30%)后会出现衰退行为。在模型讨论过程中,Grok有提到,还应当根据任务不同划分区间,在我限定为长推理任务的前提下才确认如此。

佬友们有进行过相关研究吗?感觉对于最优的讨论很有趣。

你常在什么区间进行AI协作呢([1M]上下文前提)
  • 5%-30%区间
  • 30%-50%区间
  • 50%-80%区间
0 投票人

:rofl: 一直在用gpt给的272,什么模型我都用272

1 个赞

我是直接一刀切的

400K,GPT的懒得改models.json就272

啥大海捞针100%,丢Coding感觉能让人类看懂的,估计还没实际宣传的30%上下文长度

1 个赞

我在Sol刚出来时还想,为什么是272k呢,为什么不是270/280呢,这是什么吉利数字么

这个好像是OpenAI官方测试出来的甜品上下文

1 个赞

不是,这上下文能自己调大小的吗?我的codex只有272k,为什么呀?

可以啊,配置文件或者models.json

272好像是官方实测出来最优的值,实际也能感觉到设置的1M上下文跑到300 400的时候幻觉很高,开始啊吧啊吧流口水

1 个赞

以前用的1M,后来发现300~500左右比较合理,毕竟可以设置提前压缩

你直接让它自己帮你改就行,想换默认再让它帮你改回来,省事儿

30 万,再往上就有把你 c 盘炸掉的风险(powershell:所有系统全部删除删除删除,还有这个~)

1 个赞

其实最理想的是100k。。不过在这个skill和tool爆炸的时代,再加上压缩摘要,只能退而求其次200k了。再多肯定降智

1 个赞

从性能的角度来讲,确实是这样的。

但上下文太短,有时候会造成频繁压缩,也会增大开销、影响到表现。所以需要具体问题具体分析。比如一个任务在长上下文下刚好不用压缩,那有时候还是长上下文更好一点。

顺便一提,OAI 模型长上下文是要加钱的 Pricing | OpenAI API

1 个赞

在压缩质量够好的前提下256大概就是目前的上限(目前常见的硬件只能支持这个数)。更多上下文都是线性注意力,本质上也算压缩,反而消耗更多 token,智力更低。

1 个赞

最优的是150k Matt 多次说过,源自Dex Horthy

1 个赞

我现在都是设置的250或者200自动压缩。

1 个赞

gemini是最离谱的,可能注意力不到100k。感觉520k衰退20%左右性能的模型就不该标1M了,gemini在256k的时候就已经很笨了