本帖使用社区开源推广，符合推广要求。我申明并遵循社区要求的以下内容： 我的帖子已经打上 开源推广 标签： 是 我的开源项目完整开源，无未开源部分： 是 我的开源项目已链接认可 LINUX DO 社区： 是 我帖子内的项目介绍，AI生成、润色内容部分已截图发出： 是 以上选择我承诺是永久有效的，接受社区和佬友监督： 是 以下为项目介绍正文内容，AI生成、润色内容已使用截图方式发出 新模型发布，熟悉的配方： 刷新纪录！超越同行！！登顶榜单！！！ 看完觉得遥遥领先了，自己用的时候又蠢的不行。 所以我想，能不能在自己做过的任务上测模型效果，感觉最贴合个人的实际需求。 照着这个想法做了一个开源项目。 github.com GitHub - caulif/Reprise: Replay real coding-agent tasks and compare the... Replay real coding-agent tasks and compare the resulting work locally. 下面放几个自己测的结果 首先是经典鹈鹕，跑了降智版astra和ds v4.1 flash（非1017，前几天测的） 然后也做了几个coding和文档的任务，结果也放出来 鹈鹕骑车 Edit 自移动保护 完整路径识别 文档批注修订 图比较长，可以点开看原图。 下面是实际操作的界面（做了tui界面，当然也可以直接让你的agent来控制，设计了cli），流程就是选旧会话、恢复起点、选模型重做、看报告。 1. 选择历史任务 2. 恢复任务起点 3. 选模型重新执行 4. 查看比较结果 想试的话，按下面安装就可以了： npm install -g @caulif/reprise reprise 先在 /config 配好 Reprise 用的模型，然后选首页的「重做任务」。Codex 或 Claude Code 就是本地的配置。 更方便的也可以让agent给你安装和配置，复制输入下面的内容就行了。 请按照这份指南帮我安装并配置 Reprise： Reprise/docs/install-agent.md at main · caulif/Reprise · GitHub Windows、Linux 我都实际测试过，mac 我没设备。目前只支持Codex、Claude Code的本地历史会话（后续计划再扩充主流的agent产品）。 项目主要是基于pi，设计了恢复、控制、比较三个 Agent loop，搭了一个workflow。 恢复：翻历史会话和 Git 记录，在工作副本里还原任务起点，缺什么就说明。没git的会话也支持恢复，不过历史文件缺得太多，可能会恢复不出来，我觉得这也合理。 控制：参考历史里用户提要求、给反馈的习惯，根据新模型的实际表现模拟下一句输入，继续追问、纠错或验收。 比较：按原需求检查两份交付，最后给用户一张短报告：推荐哪份、几项关键差异、必要的效果图，再附上有记录的耗时、Token 和费用估算。 目前的一些想法是： 每个人都可以拥有自己的评测集！ 大家在使用agent过程中，可以用这个项目，把一些会话里的任务整理成任务集，后面再上新模型了直接跑一遍就可以知道好不好用了。或许大家也可以清洗后分享自己的任务，大家共创一个评测集hh 欢迎佬友们尝试啊，可以把自己测的结果截图发出来，结果展示部分我设计了模糊具体内容来保护隐私，不过分享前大家还是自己看一眼。 特别欢迎各位佬的star！项目还有很多不足，也欢迎大家共创和讨论！ 1 个帖子 - 1 位参与者 阅读完整话题

  • 情报分类：开源项目与落地
  • 分类依据：内容涉及项目实践、创业、副业或变现
  • 信息来源：服务器 / LINUX DO - 最新话题
  • 发布时间：2026/10/20 14:21:41