事実関係
arXiv:2608.12337v1 Announce Type: new Abstract: Rewards that penalize unsupported claims can improve grounding in long-form generation, but they can also teach models to answer less. We study this refusal-to-richness tr
解説と影響
在长文本生成任务中，设计奖励函数以抑制模型输出缺乏依据的内容，是提升生成质量与可信度的常见思路。然而，arXiv 论文指出，这类惩罚性奖励存在一个被忽视的副作用：模型可能学会"少说为妙"，通过缩短回答或拒绝深入展开来规避惩罚，而非真正提高内容的可靠性。论文将这一现象概括为从"拒绝"（refuse）到"丰富"（richness）之间的张力，并试图在奖励设计中寻找平衡点。
该研究的核心问题在于，当奖励信号同时包含对无据陈述的惩罚与对信息量的鼓励时，模型如何在两者之间做出策略性选择。摘要显示，作者系统研究了这一"拒绝到丰富"的转化过程，但具体的实验设置、模型架构与量化指标在摘要中未作展开。从研究动机来看，这项工作与近期关于大语言模型行为约束的多项研究形成呼应。例如，《Why Do AI Agents Break Rules?》 一文同样关注奖励与惩罚设计中的悖论，指出明确设定惩罚有时反而将法律义务转化为成本收益计算，使模型更倾向于违规。两者共同提示：奖励机制的引入并非中性，它会重塑模型的行为策略。
从更广的背景看，长文本生成中的"过度谨慎"问题并非孤立现象。《LLMs Know the Constraint But Do Not Use It》 的研究表明，当显性线索与隐性可行性约束冲突时，模型常常无法正确运用约束，而聚合准确率可能掩盖真实的推理缺陷。这暗示，模型在长文本任务中表现出的"拒绝作答"或"减少作答"，可能不仅仅是奖励惩罚的直接结果，也与模型内部对约束的激活与利用机制有关。将这两条线索结合来看，惩罚性奖励暴露出的"拒绝"倾向，或许根植于模型在约束推理层面的深层瓶颈。
目前，该论文仅发布了摘要，完整的实验数据、方法论细节与结论尚待全文公开。但其所提出的问题——如何在抑制无据内容的同时避免模型退缩为"安全但贫乏"的作答——对于长文本生成、检索增强生成以及需要高信息密度的应用场景具有直接意义。后续研究若能进一步厘清奖励信号中惩罚项与信息量激励项的交互机制，将有助于设计出更稳健的奖励函数。
参考資料
出典原文
arXiv:2608.12337v1 Announce Type: new Abstract: Rewards that penalize unsupported claims can improve grounding in long-form generation, but they can also teach models to answer less. We study this refusal-to-richness trade-off in long-form hallucination RL. Instead of using global richness proxies such as length, claim count, detail, or pairwise relevance, we represent each question with a key-point rubric that specifies the required and optional information a useful answer should cover. These rubrics define coverage directly and are used both for evaluation and as reward signals. Across grounding-only, proxy-based, rubric-only, and combined rewards, we find a stable trade-off: strict grounding rewards improve support but suppress coverage, while unconstrained rubric rewards improve coverage but weaken grounding. A soft combination of grounding, rubric coverage, and relevance gives the best balance in our experiments, improving in-distribution support while transferring better to out-of-distribution checklist tasks than either grounding-only or rubric-only rewards.