关于省token的话题，好像很少人提到LLMLingua-2?

在使用AI模型的过程中
token就等于是真金白银花出去的花费
目前我看到蛮多人提到这个问题的时候会使用TOON
但这个格式比较适合表格化的数据
例如

{“team”: [{“id”: 1, “name”: “001”, “role”: “title01”},{“id”: 2, “name”: “002”, “role”: “title02”},{“id”: 3, “name”: “003”, “role”: “title03”}]}

将其改用TOON格式 呈现是如下

team[3]{id,name,role}:1,001,title012,002,title023,003,title03

Token花费减少了近4成，但准确率几乎一致

但问题是这格式比较适合已经数据化的格式或表单内容

如果针对非格式化内容 我们可以考虑微软的LLMLingua-2
以下是技术文件

LLMLingua-23570×2016 605 KB

由表格可以知道初始版本跟经过LLMLingua-2优化版本,token用量减少了一半
而且随着文本数量增加，压缩比率也随之增长

token021628×506 153 KB

由此我们可以得知LLMLingua-2的优势如下
1.长文本的token的优化
2.与RAG高度兼容
3.该方式可以使用正常对话输出并且支援推理

看上去优势很多 不知道大家有没有用过呢?

以下是github

甚至没有关拼写检查w

是65
刚刚发文看一下内容发现了 已经改过来了

token压缩越厉害，解决问题需要迭代的次数越多，所以用的token越多。

简单说，token越省，用的token越多

而且里面很多技术很多提供商本身就用上了

image1111×550 53.9 KB

中 办 国 办 印 发 二 〇 二 六 年 元 旦 春 节 工 作 通 知 》
人 民 日 报 》 2025 年 12 月 23 日 第 01 版 ）
新 华 社 北 京 12 月 22 日 电 中 共 中 央 办 公 厅 国 务 院 印 发 2026 年 元 旦 春 节 工 作 通 知 》
2026 年 十 五 五 规 划 开 局 之 年 地 区 部 门 以 习 近 平 新 时 代 中 国 色 社 会 主 义 思 想 指 导 贯 彻 党 二 十 大 二 十 届 次 全 会 精 神 统 筹 元 旦 春 节 工 作 确 保 人 民 群 众 欢 乐 平 安 节 日 。 党 中 央 国 务 院 同 意 事 项 通 知 。
关 心 困 难 群 众 生 产 生 活 党 委 政 府 救 助 帮 扶 走 访 慰 问 解 难 。 规 发 放 救 助 金 发 增 发 一 次 性 生 活 补 贴 加 大 临 时 救 助 力 度 突 紧 困 难 群 众 基 本 生 活 保 障 受 灾 人 员 冬 春 救 助 强 殊 困 难 老 年 人 残 疾 人 困 境 儿 童 走 访 慰 问 关 爱 帮 扶 开 展 救 助 行 动 治 理 欠 薪 冬 季 行 动 打 击 拖 欠 农 民 工 工 资 违 法 行 为 落 实 企 业 帮 扶 政 策 解 决 拖 欠 账 款 问 题 就 业 困 难 人 员 就 业 援 助 强 灵 活 就 业 人 员 新 就 业 群 体 劳 动 权 益 保 障 关 心 关 爱 基 层 干 部 职 工 艰 苦 地 区 急 难 险 任 务 员 。 走 访 慰 问 困 难 党 员 老 党 员 老 干 部 红 军 老 战 士 抗 战 老 志 愿 军 老 战 老 复 员 军 人 军 队 离 退 休 干 部 残 疾 军 人 烈 军
确 保 市 场 供 应 平 稳 做 好 煤 电 油 气 生 产 运 输 保 障 民 生 用 能 稳 价 保 障 群 众 温 暖 过 冬 落 实 粮 食 安 全 党 政 同 责 菜 篮 子 市 长 负 责 制 强 化 市 场 监 测 预 警 交 通 物 流 保 通 保 畅 工 作 保 障 粮 油 肉 蛋 奶 果 蔬 生 活 必 需 品 供 应 足 价 格 平 稳 扩 大 优 质 商 品 服 务 供 给 创 新 多 元 消 费 场 景 激 发 假 期 消 费 潜 力 强 化 餐 饮 服 务 食 品 安 全 市 场 销 售 食 用 农 产 品 质 量 安 全 监 管 餐 饮 住 宿 年 货 商 品 民 生 价 格 收 费 监 管 力 度 击 价 格 价 格 欺 诈 违 法 行 为 强 网 络 交 易 监 管 规 范 促 销 行 畅 通 投 诉 举 报 渠 道 处 置 消 费 者 诉 求
丰 富 群 众 精 神 文 化 生 活 展 新 春 基 采 访 活 动 春 节 联 欢 文 艺 演 出 活 动 大 年 遗 贺 新 春 味 中 国 年 广 中 国 梦 文 化 进 万 家 文 化 科 技 卫 生 下 乡 文 化 品 军 民 共 建 活 动 丰 富 旅 游 产 品 提 升 旅 游 品 质 体 验 消 费 惠 民 措 施 强 跨 部 门 执 法 协 作 维 护 文 化 旅 游 市 场 秩 序 。
保 障 群 众 平 安 便 捷 出 行 加 强 客 流 动 态 研 判 强 化 重 点 地 区 热 点 线 路 高 峰 时 运 力 供 给 统 筹 春 运 工 作 满 足 出 行 需 要 落 实 节 假 日 免 收 小 型 客 车 通 行 费 策 强 化 道 路 疏 堵 保 畅 提 升 充 电 加 油 用 餐 如 厕 服 务 质 量 务 工 流 学 生 流 旅 游 流 客 流 保 障 落 实 军 人 退 残 疾 军 人 消 防 救 援 人 员 烈 士 遗 属 群 体 先 优 待 政 策 应 急 预 案 应 对 恶 劣 天 气 旅 客 滞 留 险 情 事 故 情 况 开 展 高 速 公 路 桥 梁 隧 道 施 风 险 隐 患 排 查 打 击 酒 驾 驾 劳 非 法 营 运 农 村 违 行 为 保 出 行 安 全
狠 抓 安 全 生 产 责 任 监 管 制 度 纠 治 责 任 安 全 检 查 整 改 防 范 制 事 故 加 强 老 旧 住 宅 高 层 建 筑 校 外 培 训 热 门 景 点 商 场 市 场 宾 馆 民 宿 餐 馆 饭 店 养 老 机 构 厂 房 仓 库 火 灾 隐 患 排 查 整 治 深 化 烟 花 爆 竹 矿 山 燃 气 建 筑 施 工 化 工 生 产 渔 业 船 舶 风 险 隐 患 排 查 治 理 旅 游 设 施 检 查 维 护 客 运 索 道 游 乐 设 施 新 兴 高 风 险 游 乐 项 目 安 全 管 理 强 展 览 展 销 文 艺 演 出 庙 会 灯 会 焰 火 晚 会 灯 光 秀 活 动 风 险 评 估 安 全 管 控 强 化 低 温 雨 雪 冰 冻 凌 汛 灾 害 森 林 草 原 火 灾 监 测 预 警 风 险 提 示 应 处 置 安 全 宣 传 教 育 安 全 防 范 意 识 避 险 自 救 技 能 传 染 病 监 测 防 控 呼 吸 道 传 染 病 诊 疗 工 作
维 护 社 会 局 稳 定 坚 发 展 新 时 代 枫 桥 验 矛 盾 纠 纷 风 险 隐 患 网 排 查 领 导 干 部 访 力 度 发 挥 综 治 中 心 作 用 不 稳 定 因 素 解 决 萌 芽 化 解 基 层 线 打 击 盗 骗 食 药 环 违 法 犯 罪 排 查 治 安 隐 患 盲 点 强 化 繁 华 商 圈 旅 游 景 区 公 交 地 铁 车 站 机 场 学 校 医 院 公 园 广 场 人 员 密 集 场 所 安 全 防 范 强 化 枪 支 弹 药 危 爆 物 品 管 制 刀 具 安 全 管 理 强 化 社 会 巡 防 管 控 落 实 公 安 武 警 联 勤 巡 逻 善 突 发 事 件 处 置 预 案 暴 力 恐 怖 袭 击 极 端 事 件 关 注 社 会 舆 情 稳 妥 风 险 研 判 应 处 置
持 续 纠 四 风 树 新 风 弘 扬 中 华 民 族 传 统 家 教 家 风 倡 导 勤 俭 节 约 进 移 风 易 俗 抵 制 彩 礼 人 情 攀 比 厚 葬 薄 养 不 良 习 俗 巩 固 拓 展 中 央 八 项 规 定 精 神 学 习 教 育 成 果 紧 盯 年 节 关 口 严 查 违 规 吃 喝 收 送 礼 品 礼 金 操 办 婚 丧 喜 庆 敛 财 题 深 化 风 腐 同 查 治 防 止 不 正 风 反 弹 回 潮 落 实 党 政 机 关 紧 要 求 严 防 铺 张 浪 费 政 绩 观 纠 治 敷 衍 应 付 报 数 据 弄 虚 假 验 收 过 场 问 题 坚 决 整 治 文 件 会 议 数 量 效 果 差 进 工 作 向 基 层 派 任 务 重 复 材 料 督 查 检 查 考 核 调 研 基 层 负 担 。 党 员 部 弘 扬 党 光 荣 传 统 作 风 反 对 特 权 思 想 现 象 党 风 引 领 社 风 民 风 向 善 。
认 真 做 值 守 应 急 工 作 执 行 24 小 时 专 人 值 班 领 导 干 部 带 班 外 出 报 备 制 度 加 强 监 督 检 查 压 实 责 任 树 牢 底 线 思 维 风 险 意 识 科 学 安 排 值 班 力 量 强 化 应 急 预 案 演 练 突 发 事 件 应 急 处 置 准 备 响 应 处 置 服 务 群 众 单 位 安 排 节 日 值 班 执 勤 保 证 服 务 质 量 避 免 形 式 主 义 问 题 执 行 请 示 报 告 制 度 杜 绝 迟 报 漏 报 谎 报 瞒 报
地 区 部 门 提 高 政 治 站 位 加 强 组 织 领 导 部 署 落 实 元 旦 春 节 工 作 保 通 知 精 神 落 到 实 处

因为用了之后效果不好。

中文的话，也许文言文才是正道？

是啊，输出token还比输入token贵几倍，实际开销更大了