新闻
格式敏感性指数：LLM 基准测试中令牌控制的提示包装器稳健性和模式合规性
1 分钟阅读
来源：arXiv AI
arXiv:2607.09665v1 公告类型：新 摘要：提示包装器通常仅在格式上有所不同，但它们可以改变模型分数，足以推翻排行榜结论。我们在令牌控制协议下研究这种方差，并引入两个补充指标：格式敏感度指数（FSI）（由包装器选择引起的准确度范围）和可解析性敏感度指数（PSI）（答案可解析性的相应范围）。在涵盖 7 个 QA 任务、5 个包装器系列和 4 个从 7B 到 72B 参数的指令模型的 140,000 个 OpenRouter 代中，我们发现模型之间的平均 FSI 变化超过 30 倍，这在很大程度上是由合规性失败造成的。固定效应回归