火车上用不了开发设备，用聊天模型简单查了一下记忆系统相关设计，学界内基本的评判标准是DynamicMem等测试集模拟用户使用，测试集的主要测试内容是direct qa（问明确的事实性问题查询能否获得准确回答），但几乎没有用户实际评分的基准。 同时发现另一个论文是 MemUse ，结论是direct qa与实际用户体验基本无关：提升了direct qa eval准确率数成的算法，用户体验度评分没有显著变化。 我的直觉是基于direct qa的eval为中心甚至唯一指标在战略上是不可取的，甚至只追求它是战术上勤奋战略上懒惰。 我自己用hermes mnemosyne plugin的体验就是记忆如挤牙膏：我期待它能在多次互动中默会到的它意识不到，我明确指向说与什么相关它才能想起来。在这个基础上，记忆系统原本的意义几乎没有了：最有价值的「用户自己也不知道记哪些」的部分没法提供；而如果需要用户「已经知道和哪些相关」，实际记忆成本已经又跑去用户而非agent了。 所以这种eval的意义在哪？ 1 个帖子 - 1 位参与者 阅读完整话题

  • 情报分类：技术学习与提效
  • 分类依据：内容涉及技术、AI、软件工具或工程实践
  • 信息来源：服务器 / LINUX DO - 最新话题
  • 发布时间：2026/10/19 12:41:20