我认为意义不大,因为上下文长了模型就开始流口水。我一般都是在300k的时候进行压缩。luna这种小模型上下文呢都是限制在150k,用满了就新开会话。实际工作中压根就用不到这么长的上下文,对我来说400k就够用了 3 个帖子 - 3 位参与者 阅读完整话题