前面短上下文的情况下大约有20-22?t/s 后面上下文到16k后差不多还有11t/s 思考占了约40k的token,有点难绷,本来思考了一个小时打算看下是不是魔了,然后就输出正文了,个人感觉效果还算不错,整体上下文有64k 2 个帖子 - 1 位参与者 阅读完整话题


  • 情报分类:硬件与数码
  • 分类依据:内容涉及硬件、数码产品或通信卡
  • 信息来源:服务器 / LINUX DO - 最新话题
  • 发布时间:2026/9/29 20:50:42