一直在用一个嵌入式开发的agent,是在trellis基础上特化了嵌入式方面魔改出来的,挺好用的,问题是输入消耗token大概能有输出的50倍,我觉得有点夸张了,这正常吗
3 个赞
输入大小大概率看上下文是否需要这么多东西
本来输出就是原小于输入的啊?不过这个倍率我感觉好像正常到不了 50 倍?
基本上都是缓存读取,很少创建缓存
难道是上下文窗口太小了?
不过感觉还好?看到自己之前用 deepseek v4 的 输入(缓存) 输出 差掉了两个数量级……
现在的任务规划阶段用了2.1Mtoken,缓存读了1.1Mtoken
我在pi里用的,用pi switch加供应商,上下文窗口现在都是256k
你只是规划吗?你先用几个亿 token 再看看吧,我统计了下我的,不算缓存大概是十比一,算上缓存大概是 30 倍,你这个多一点可能也没啥问题,毕竟工具集可能大一些。
看错了,我算上缓存是 300 倍……你放心吧,你这个应该没啥问题,如果是不算缓存的可能还得调整下。
我建议关键参数还是你的缓存读取占提示词侧的百分比,你要是 95% 以上几乎不需要担心什么。
佬你是怎么计算缓存命中率的呢,我现在用的中转站只能导出输入输出token总额,我问客服,他说缓存命中率得自己算
你用的是 pi吗?直接问 pi 让它给你抓取日志统计就可以了
刚刚转用pi没多久,之前用的codex,也能抓取日志统计吗
也能吧,codex desktop 应该那个日志页面也展示吧,你就先让它找一下试试
