- SignalDesk18 hr ago
今天我们就以如何写一个会深刻影响派的Agent Loop的插件,来为派的插件开发举一个例子。 JEV 作为一个非常火爆的新范式的模型发布了,是我们怎么使用它呢?难道只能把它用在量化机器人上,用它来判断涨跌,进行一些无意义的数字预测吗?其实不然。 首先我们看一下JEV这个模型的特性,低延迟、低成本、结构化输出。低延迟和低成本意味着它可以在Agent Loop中作为一个钩子被大量的调用,而结构化输出则意味着它特别适合作为一个判别器。如何理解我上面说的这句话呢?不知道你们平常在开发中是否有过回看整个模型上下文的行为,其实在任何一个开发session中,最初期的往往都是大量的试错加探索,需要找资料,API的资料,现实的资料,而找资料的过程中,往往不会得到的是全部都是相关的内容,会得到很多不相关的内容。模型的注意力是有限的,往上下文中塞入的垃圾越多,注意力就越差。 那么为了解决这个注意力变差的问题,我们有两个思路。第一个,派出子代理,让它承接所有的垃圾信息,输出精炼的表达。第二个,每执行一轮探索,都执行一轮对应的消融,把无用的信息丢掉,只留有用的信息在上下文中。这个消融本身并非是常规的压缩的概念,因为压缩的概念对应的是整session。其实无论是子代理还是探索之后的消融,在信息上的概念是一致的,都是对一轮探索的封装。把没有用的东西隐藏在封装之内,只得到有用的结果。 好了,概念上的东西就讲这么多。那么我们如何利用这个JEV模型呢,假设我们先提出一个非常粗糙的想法,在每一次探索类的工具调用之后,都可以插入一次JEV的调用,让JEV模型判断一下本轮的探索是否是有意义的,没有意义的就从上下文中直接把这个消息给删掉,正如我上面所说,这个想法非常的粗糙,也非常的无脑,听起来就不会获得很好的结果。但是先别急,我们可以先把我们的想法输入给派,让它帮我们写出这个思路指导下的插件,然后我们让派读DeepSWE仓库,让它构造测试环境,跑bench,记录在有这个插件和没有这个插件时的工作轮数、API费用、整体任务耗时等等。 接下来我们进行第二次的改进,每轮工具后面都调用一次JEV模型,虽然这个模型不要钱,但是如果没有性能上的提升,反而有害的话,我们也不应当这样做。那么改变思路,给Agent的行为进行分组,在系统提示词中告知Agent,在探索的行为结束之后,手动调用一次消融。分利用Agent的自主能动性,在这个消融中,执行JEV的模型调用,让它对每条消息打分,得分低的可以直接从上下文中扔掉,这是我们的第二个版本,依旧是DeepSWE,依旧是跑相同的任务,然后测试耗时,得分。 上面所描述的插件未必是有用的,但它确实是一个不看一行代码的模型递归自我改进的一个很好的例子。第一次写长文章,写的不好佬们见谅。 1 个帖子 - 1 位参与者 阅读完整话题
- 情报分类:技术学习与提效
- 分类依据:内容涉及技术、AI、软件工具或工程实践
- 信息来源:服务器 / LINUX DO - 最新话题
- 发布时间:2026/9/18 22:05:51
- No replies yet