Sign in with a social account
预训练 Transformer 感知模型（如视觉识别、目标检测模型）在训练数据分布之外的环境中部署时，性能往往显著下降。一个直观的思路是将多个预训练模型组装起来，让它们互相补充，但论文指出，仅靠「组装」本身并不能解决分布偏移带来的精度损失——问题出在融合器（combiner）这一环节：如果融合器本身对输入扰动不鲁棒，那么即便底层模型各自表现尚可，整体系统依然脆弱。
针对这一痛点，论文提出了一种对抗鲁棒的溯因融合（Adversarially Robust Abductive Fusion）方法。溯因推理（abductive reasoning）在逻辑学中指的是「从观察结果反推最合理的解释」，这里被借用来描述融合器的工作方式：给定多个预训练模型的输出，融合器需要推断出最可能正确的综合判断，而不是简单投票或加权平均。论文的核心贡献在于将对抗训练的思想引入融合器——在训练融合器时主动构造最坏情况下的输入扰动，使融合器学会在底层模型输出被干扰时仍能做出稳定判断。这类似于「不仅要求学生答对常规题，还要在题目被故意涂改的情况下仍能保持正确率」。
从技术层面看，该方法的关键创新在于将鲁棒性要求从单个模型层面转移到了融合层。以往的做法通常是对每个预训练模型分别做对抗微调，成本高且可能损害模型原有的泛化能力；而本文的思路是保持预训练模型不变，只对融合器做对抗训练，这在计算开销和部署灵活性上具有明显优势。论文摘要中提到的「combiners s…」在原文摘要截断处中断，具体实验数据和对比基准的细节原文未完整提供，但从摘要表述可以推断，该方法旨在证明：即便底层模型未经对抗训练，一个经过对抗鲁棒设计的融合器也能显著提升整体系统在分布偏移场景下的可靠性。
对于实际落地而言，这一研究方向的意义在于：很多团队已经在使用多个开源预训练模型搭建感知管线，但往往忽略了融合环节的鲁棒性设计。如果该方法的效果得到后续验证，开发者可以在不重新训练底层大模型的前提下，仅通过替换融合策略来提升系统在陌生环境中的表现。不过，由于论文摘要信息有限，其具体实验设置、所用数据集以及与其他融合方法的量化对比结果，仍需查阅全文才能确认。