arXiv:2608.12372v1 Announce Type: new Abstract: AI systems are increasingly employed as decision aids, decision delegates, or autonomous decision-makers. This position paper argues that in many settings, particularly hi
소셜 계정으로 로그인
当前主流的对齐技术——如基于人类反馈的强化学习（RLHF）——在很大程度上聚焦于输出端的约束：让模型学会拒绝有害请求、生成符合人类偏好的回答。然而，当 AI 进入高风险决策场景时，仅仅约束"说什么"可能远远不够。作者的核心论点是，人类在做出重要决策时依赖一系列可追溯的推理步骤：明确目标、权衡选项、识别不确定性、在信息不足时主动寻求澄清。如果 AI 系统要承担类似的决策角色，其对齐方法也需要覆盖这些过程性的维度，而不仅是最终答案的安全性。
这一视角与同日发布的多项研究形成了有趣的呼应。例如，一项关于 LLM 自我反思机制的对照消融研究发现，自我反思对推理能力的提升究竟来自哪个组件，目前仍缺乏清晰理解来源。这意味着，即便我们想对齐模型的"推理过程"，首先需要搞清楚模型内部究竟发生了什么——而这恰恰是当前研究的薄弱环节。
论文所强调的"实用对齐"关切，在相关素材中得到了具体印证。一项针对 LLM 安全对齐的测试发现，当用日语而非英语提问时，模型对核打击建议等危险内容的拒绝率显著下降，说明安全对齐存在明显的语言依赖性来源。另一项关于跨域个性化的工作则显示，LLM 在仅凭少量目标域样本进行个性化适配时面临显著挑战，需要借助 Meta-LoRA 等专门技术来提升泛化能力来源。
这些发现共同指向一个核心问题：如果对齐只在特定语言、特定领域、特定测试条件下有效，那么它在真实世界的"实用性"就大打折扣。人类推理的一个关键特征恰恰是跨情境的稳健性——同一个人在不同语言和文化语境下通常不会突然丧失基本的道德判断。要求 AI 对齐方法"镜像人类推理"，在某种意义上就是要求对齐本身具备类似的跨情境一致性。
需要明确的是，这是一篇立场论文（position paper），而非实证研究。它不提供新的实验数据，而是基于对现有对齐范式的批判性分析提出方向性主张。摘要本身在关键论述处被截断（"particularly hi..."），完整的论证链条原文未提供，因此无法评估其具体论据的充分性。论文的核心价值在于提出问题框架，而非给出经过验证的解决方案。
从证据等级来看，立场论文在学术体系中属于观点性文献，其说服力依赖于论证的逻辑自洽性和对既有文献的准确把握，而非实验证据的直接支撑。读者应将本文视为一个值得关注的研究方向倡议，而非对齐方法有效性的实证结论。它所提出的"过程对齐"是否真的比"输出对齐"更实用、更稳健，仍有待后续实证研究的检验。
arXiv:2608.12372v1 Announce Type: new Abstract: AI systems are increasingly employed as decision aids, decision delegates, or autonomous decision-makers. This position paper argues that in many settings, particularly high-stakes decision-making, we need accurate cognitively-aligned AI systems that reason similarly to their users, and faithfully communicate their reasoning. We review evidence that cognitive alignment improves understandability and trustworthiness, and provide new survey data showing that many users find cognitive alignment "essential" when an AI's rationale for a judgment or action is important to them. We outline the gaps between existing alignment methods and what is needed to achieve cognitive alignment, and present a research agenda to address these gaps. We argue that cognitive misalignment represents a likely impediment to AI adoption in many envisioned applications, and that addressing it is important for creating AI systems on which users are both willing and justified to rely.