LangMatch

1 · 研究背景

大模型的推理成本与上下文长度直接相关：输入越长，通常意味着更高的 token 成本、更高的时延与更强的上下文占用。 prompt compression 研究已证明，在尽量保持性能的前提下压缩输入，是提升 LLM 效率的一条重要路径。另一条文献指出 tokenizer 对不同语言并不公平——相同语义在不同语言中被切分为不同数量的 token；而跨语言 prompting 研究显示，提示语言不仅影响 token 数，还会影响模型行为、推理路径与格式服从性。

文言文天然凝练、信息密度高、语法省略强，直觉上可能是一种适合 LLM 的「自然语言压缩提示」。但直觉无法直接回答两点： (1) 文言文在 tokenizer 视角下是否真的更省 token；(2) 即便更省，任务成功率能否保持。

2 · 研究目的与研究问题

核心比较不是「哪种语言更短」，而是：在任务固定、模型后端固定的前提下，更凝练的提示语言能否带来更优的质量–成本前沿？只改 system prompt 的语言，任务本身不变。

• RQ1 — 语义等价下，文言文 system prompt 能否稳定减少输入 token？
• RQ2 — token 节省是否伴随成功率 / 指令遵循 / 准确率的下降？
• RQ3 — 差异主要来自 tokenizer 切分，还是来自语言风格对模型行为的诱导？
• RQ4 — 该现象能否跨模型族（开源 vs 闭源）复现？

3 · 相关工作

• 古汉语 / 文言文 LLM（C3Bench、TongGu、Fuxi、WenyanGPT）已把古汉语作为可单独建模、评测的一等对象——但聚焦理解与生成，而非 token 效率。
• 跨语言 prompting 表明提示语言会改变模型行为、推理与格式服从，而不只是表层 token 数。
• Token tax / tokenizer 公平性 表明相同信息在不同语言上成本不同——语言本身就是一个成本变量。
• Prompt compression（LLMLingua、Selective Context）证明压缩 prompt 有价值——但走的是算法式压缩，而非利用语言自身的表达密度。

这四条线此前从未被合并成一个可检验问题：文言文能否作为 LLM 的自然语言压缩提示？LangMatch 就是这个受控实验 ——不训练新的文言文模型，而是在严格控制变量下，评估文言文作为 system prompt 语言的效率与代价。

4 · 实验设计

三种功能等价的 system prompt 模式——任务、模型、输出预算都相同，只改提示语言：

• 模型：gpt-4o、gpt-5.4、qwen3-1.7b、qwen3-4b——API 与本地 Transformers 后端统一在一条流水线
• 基准：IFEval（指令遵循）、MATH-500（纯文本子集，只评最终答案）、MMLU-Pro
• 指标：输入 / 输出 / 总 token；基准 Score 或 SR；以及每千 token 得分作为效率轴
• 预算与审计：统一 2048 token 输出预算 + 逐次 token 记账；runner 记录 configured_max_tokens、finish_reason 与用量，使截断被检出而非被静默计分

清单（固定任务子集）
  → 跑遍 任务 × 提示模式 × 模型 组合
  → 原始 results.jsonl + 逐次汇总
  → 跨运行聚合为矩阵报告
  → 帕累托前沿图（分数 vs. 总 token）

严谨性说明。早期 pilot 采用过紧的 cap（IFEval 192、MATH-500 64、MMLU-Pro 8），产生了截断伪影——最典型的是 gpt-5.4 / IFEval 返回空的可见输出、 却仍耗尽整个输出预算，使模型显得偏弱。主矩阵在 2048 下重跑，清除了 gpt-4o、gpt-5.4、qwen3-4b 的伪影（0 次触顶）；qwen3-1.7b 仍有 4 次触顶（finish_reason=length），需谨慎解读。 以下所有数字均为修正后的 2048 重跑。

后续 三次对照 固定语言（base / zh / wy），转而改变交互设置——explicit_process（显式推理）、hidden（思考但不外显）、compact_visible（简短可见推理）——以区分「提示语言」与「推理可见性」各自的作用。

5 · 实验结果

5.1 主矩阵（2048 token 预算）

跨基准聚合的整体结果（每个点为一个 模型 × 提示模式 组合）：

gpt-5.4 是整体最强的模型，其早前偏弱的 IFEval 已确认是截断伪影而非真实缺陷。zh_compact 是最稳定的提示族（对 gpt-4o 最佳，对 qwen3-4b 并列最佳）；wy 是条件性收益——在 gpt-5.4 上是单项最强模式。

分基准的「分数 vs. 总 token」帕累托图（点击图片查看原图）：

IFEval——qwen3-4b 以最低 token 成本达到同等分数；gpt-5.4 的 wy 变体是其最省的一档。

MATH-500——偏好依模型分化：gpt-4o 偏爱 zh_compact，gpt-5.4 偏爱 wy。

MMLU-Pro——zh_compact 稳居最可靠默认。

IFEval

去掉 cap 伪影后，gpt-5.4 在三种模式下均达 1.000 SR；qwen3-4b 也饱和。在该基准上，高容量模型在多种提示语言下都能完成任务。

MATH-500

最关键的分化：zh_compact 对 gpt-4o 最佳，而 wy 对 gpt-5.4 最佳——在足够强的模型与凝练推理任务上，文言文成为真正的质量–成本竞争者。qwen3-4b 的最高分在 wy，而 zh_compact 总 token 略省。

MMLU-Pro

最保守的基准：对文言文的奖励不如 MATH-500 明显。去掉截断后 gpt-5.4 在三种模式下一致很强；gpt-4o 仍偏爱 base，qwen3-4b 仍偏爱 zh_compact——这一模型-任务交互在重跑后依然成立。

5.2 LangMatch 三次对照（交互设置）

固定语言，改变交互设置。显式 / 隐藏 / 紧凑可见三种推理下的整体 SR vs. token （本次导出中 IFEval 面板为缺失数据占位，并非负面结果）：

显式推理——gpt-5.4 + wy 是最突出的一个点。

隐藏推理——主要把点左移（更省），而非上移。

紧凑可见——成本与分数之间的折中。

explicit_process

hidden

compact_visible

gpt-5.4 + wy 在 explicit_process 与 compact_visible 下都最突出（SR 0.833）；hidden 主要降低成本而非提高分数；qwen3-4b 无稳定的文言文优势。

完整结果报告：

• 主矩阵报告（2048 预算 · 中文） — English
• 三次对照报告（中文） — 附 token / 分数表

6 · 结论要点

• 提示语言的影响真实存在，但高度依赖模型与任务。
• zh_compact 是跨闭源 / 开源模型族最稳健的默认选择。
• wy 在强模型上是有力候选——其在 gpt-5.4 上的收益在修正重跑后依然成立，且在 gpt-5.4 / MATH-500 上最佳——但并非普适。
• 在三次对照中，推理可见性与语言同样重要；hidden 是降本设置，而非提分设置。

工作结论：文言文是一种条件性的提示压缩策略，而非普适策略——应按模型逐一开启，而非默认使用。

7 · 严谨性与局限

• 2048 重跑清除了 gpt-4o、gpt-5.4、qwen3-4b 的截断伪影；qwen3-1.7b 仍有 4 次触顶，需谨慎解读。
• token 计数来自各自原生后端（GPT 日志用 openai，qwen 日志用 transformers）——应在同一模型内比较，而非当作跨厂商 tokenizer 完全一致。
• 三种提示模式功能相近但并非严格逐句对齐；「风格 vs 密度」的混杂已通过纳入现代汉语压缩对照（zh_compact）缓解，但未完全消除。

早期阶段——结论为初步观察，非正式结果。