FinPerMA: A Theory-Informed, Event-Grounded Personalized-Memory Benchmark for LLM Agents

该基准的构建方法融合了金融理论与生成式 AI。研究团队并非依赖模型自行生成松散的对话轨迹，而是设计了一套确定性、理论驱动的冲击规则，模拟市场重大波动等事件对投资者风险偏好、资产配置倾向等偏好的影响。随后，利用受控的 LLM 叙述能力将这些结构化变化转化为自然语言交互历史，并经过自动化质量筛选，最终生成了包含 2,994 个问题的测试集 [来源：arxiv.org]。其核心设计在于设置了一个“冲击后检查点”，专门用于验证智能体是否已将一次重大事件的影响整合进其持久化的用户模型中，而非仅仅复述对话中的表面信息。

从技术角度看，FinPerMA 直指当前智能体记忆评估的盲区。现有的个性化记忆测试往往只考察信息留存，或使用模型自己生成的、约束力弱的对话轨迹，这导致对事件驱动的偏好适应性评估严重不足 [来源：arxiv.org]。FinPerMA 通过冻结的纵向轨迹，为不同智能体提供了统一且客观的评估标尺。这与近期业界对智能体评测框架的探索趋势相呼应，例如 DeepEval 等工具也在尝试为智能体提供标准化的评估流程，涵盖从基础对话到任务执行的多维度指标 [来源：deepeval.com]。

这一研究对于将大模型智能体部署到金融、税务咨询等严肃领域具有重要的现实意义。当 OpenAI 的博客还在探讨如何利用 ChatGPT Enterprise 提升税务顾问的生产力与服务质量时 [来源：openai.com]，FinPerMA 则从更底层的技术维度提出了一个尖锐问题：如果智能体无法在用户经历市场崩盘或个人财务危机后，准确更新其风险画像和长期目标，那么所谓的“个性化服务”将流于表面。该基准的提出，为衡量智能体是否具备真正的长期陪伴与动态适应能力，提供了更为扎实的理论与工程依据。