有没有大佬会压缩 gpt 上下文的，尽量减少token 消耗？

[yuwangi]

用的GPT-4消耗太快了，想着有没有什么办法可以把 提示 上下文压缩精简的？

[CuteYellowChick (Jesse)]

我之前看chatgpt next系列都是在上下文达到一定数量后打包前面的信息，新增提示词要求总结，然后把这个丢给GPT-3.5去总结，再把总结后的内容作为后续对话的历史信息

[llllllll]

LangChain提供了多种压缩上下文的方案：Contextual compression | 🦜️🔗 LangChain

[tito (Google)]

关注一下

[CuteYellowChick (Jesse)]

略作补充，Next对话题和前文的总结提示词。

[Alfred6 (格里菲斯)]

两套思路吧：

1. 使用vec db等手段，类似 zilliztech/GPTCache: Semantic cache for LLMs. Fully integrated with LangChain and llama_index. (github.com)

2. 精简prompt手段，例如精炼输入，限制输出长度