我的结论：Jev 值得用来低成本筛查 AI 有没有把事情记错。 让它核对一个具体事实，比让它重新判断整个任务更有意思。 比如： 用户说：周五有读书会，开场时间还没公布。 AI 记成：周五 19:00 开始。 格式正确、保存成功，但时间是编的。Jev 可以对照原文，把这种“看起来合理、实际没有依据”的事实标出来。 我做了一组小规模合成实验： 32 条保留检查中，Jev 和 GPT-5.5 都找到了 16 条问题，对另外 16 条正常事实没有误报。 同轮各 80 次调用，中位耗时分别为 0.87 秒和 4.10 秒。 按实验记录费率估算，Jev 的核查调用成本明显更低。 之前我让 Jev 同时参与多个字段的决策，效果反而变差。缩小成“这个事实，原文到底有没有说”，才找到了值得继续试的方向。 更让我感兴趣的是：如果检查足够便宜，哪些原来只能人工抽查的工作，可以更频繁地检查？ 下面这些是应用猜想，尚未实测： 客服、会议纪要、CRM AI 承诺退款，政策里有依据吗？纪要里的负责人和截止日期，是大家明确同意的，还是模型补全的？“客户感兴趣”有没有被写成“客户确认购买”？ 让系统先筛出疑点，人工优先看这些记录，可能比逐条翻原文省心。 RAG 知识库与问答优化 将回答拆成关键事实，与检索片段逐项核对：引用是否支持结论？有没有遗漏适用条件、混用不同版本？ 疑点可以用于触发重新检索、改写或人工复核；确认的问题还能积累成回归测试。也可以先找出知识库里疑似冲突的片段，再检查它们是否在相同条件下表达了矛盾结论。 Ontology ／知识图谱辅助整理 先由其他模型提取候选实体、关系和类型，再核对： 原文是否支持这条关系？ 这个实体是否符合已有类型定义？ 明确的结构约束用代码检查，语义疑点再交给模型。如果有效，也许能减少人工逐条审阅候选知识的成本。 潜在价值，是让“原始资料 → 知识整理 → AI 回答”每个环节都多一次低成本核查，把人的注意力集中到疑点上。 不过，本次实验中的候选事实由人工给定，也确实发现过漏检，还没验证生产环境能省多少人力。回答符合检索材料，不代表材料本身正确；检查候选关系，也不等于能自动设计合理的 ontology 。 接下来真正想测的是：每发现一个真实错误花多少钱，以及人工核查时间到底减少了多少。 完整实验、原文： https://tryjevai.com/blog/jev-ai-fact-checking 大家手上的业务里，有没有这种核对费神、出错又不容易发现的环节？尤其做 RAG 或知识图谱的朋友，觉得这种接法有没有试验价值？

  • 情报分类：技术学习与提效
  • 分类依据：内容涉及技术、AI、软件工具或工程实践
  • 信息来源：服务器 / V2EX
  • 发布时间：2026/10/13 14:48:46