输入消耗token非常多,正常吗

一直在用一个嵌入式开发的agent,是在trellis基础上特化了嵌入式方面魔改出来的,挺好用的,问题是输入消耗token大概能有输出的50倍,我觉得有点夸张了,这正常吗

3 个赞

输入大小大概率看上下文是否需要这么多东西

本来输出就是原小于输入的啊?不过这个倍率我感觉好像正常到不了 50 倍?

基本上都是缓存读取,很少创建缓存

难道是上下文窗口太小了?

不过感觉还好?看到自己之前用 deepseek v4 的 输入(缓存) 输出 差掉了两个数量级……

现在的任务规划阶段用了2.1Mtoken,缓存读了1.1Mtoken

我在pi里用的,用pi switch加供应商,上下文窗口现在都是256k

256K 的话可能是上下文太小了?一直压缩什么的……?(毕竟codex砍了上下文也造成了这种

最近一个周期的codex就这样:melting_face:

2 个赞

你只是规划吗?你先用几个亿 token 再看看吧,我统计了下我的,不算缓存大概是十比一,算上缓存大概是 30 倍,你这个多一点可能也没啥问题,毕竟工具集可能大一些。

看错了,我算上缓存是 300 倍……你放心吧,你这个应该没啥问题,如果是不算缓存的可能还得调整下。

我建议关键参数还是你的缓存读取占提示词侧的百分比,你要是 95% 以上几乎不需要担心什么。

佬你是怎么计算缓存命中率的呢,我现在用的中转站只能导出输入输出token总额,我问客服,他说缓存命中率得自己算

你用的是 pi吗?直接问 pi 让它给你抓取日志统计就可以了

刚刚转用pi没多久,之前用的codex,也能抓取日志统计吗

也能吧,codex desktop 应该那个日志页面也展示吧,你就先让它找一下试试