arXiv.org Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression Chunked KV-cache compression reduces the memory and attention costs of long-context inference by compressing windows of consecutive tokens into fewer cache entries at a fixed stride. Such compression also introduces a new positional coordinate: a... 字节Seed团队最新发布的论文《Periodic Weak Spots》发现,以DeepSeek V4系列为代表的模型,使用压缩稀疏注意力,会导致长上下文时发生性能漂移。 4 个帖子 - 4 位参与者 阅读完整话题


  • 情报分类:技术学习与提效
  • 分类依据:涉及AI模型技术论文与性能分析,属技术学习与提效。
  • 信息来源:服务器 / LINUX DO - 最新话题
  • 发布时间:2026/10/8 18:34:32