Cloudflare Blog – 19 Oct 26 Cutting our inference bill by 68% by being obsessive about optimization When our AI code reviewer's cost per run doubled, we dug into the token usage to find out why. Learn how we used prompt caching and intelligent model routing to slash our inference bill by 68% while speeding up reviews. 我们在四月份写博客介绍我们的人工智能代码审查员时，平均每次审查的费用是1.19美元，这个价格还算合理。但到了八月底，这个数字飙升至约2.46美元。我们并没有进行任何重大的架构变更：协调员仍然将工作分配给同一批专业审查员，审查的强度也仍然由相同的风险等级决定。 九月中旬，我们安排员工找出这些token的去向并大幅削减成本。在保证代码质量的前提下，平均每次代码审查的成本现在仅为 0.77 美元，比我们开始削减成本前两周平均 2.43 美元的成本下降了 68%。我们的主要目标是降低成本，但作为这项工作的一部分，我们也优化了审查员的操作，使得平均每次审查所需时间从之前的 4 分 09 秒缩短至 1 分 32 秒。 节省的成本中约有 40% 来自对审查员代码的更改和优化，其余部分来自对我们使用的模型以及它们投入的精力的试验。 [!quote]+ 一篇评论如何让成本翻倍 下图显示了自三月以来每个工作日平均评论的成本。图中评论等级的组合保持不变，因此某一天高价评论较多不会影响数据。 每次审核的成本稳步上升，从 3 月的 1.22 美元 → 6 月的 1.44 美元 → 7 月的 1.74 美元，最终达到 8 月的 2.32 美元。部分原因是更多审核被归入最高费用等级（3 月份占 59%，8 月份占 65%）。我们认为原因很简单：模型变得更好、功能更强大。工程师们自然会进行更大、更复杂的更改，这意味着更多更改会被归入我们的“完整审核”等级。不过，我们发现，成本增加的大部分实际上来自这些月份的模型更改。 8月初，我们将所有审稿人都转移到了Anthropic模型上，这使得每项工作的成本从1.38美元增加到2.03美元。我们做出这一选择是因为我们发现，在评估过程中，Anthropic模型在这种特定工作负载下的表现优于其他模型。 由于性能和可靠性方面的综合考虑，我们的内部标准审核工具 Codex最终升级到了 Claude Opus 4.7 版本。这使得它的审核费用从每次约 0.25 美元上涨到了 8 月份的 0.88 美元，比协调代理本身还要贵。 缓存命中率也随之提高，从4月份的85.7%上升到9月份的97%，而每次审核所需的令牌数量也增长了两倍多，从91万增加到299万。即使缓存读取成本很低，高命中率加上三倍数量的令牌，成本仍然要高得多。 1 个帖子 - 1 位参与者 阅读完整话题

  • 情报分类：技术学习与提效
  • 分类依据：内容涉及技术、AI、软件工具或工程实践
  • 信息来源：服务器 / LINUX DO - 最新话题
  • 发布时间：2026/10/20 16:50:59