Paradigma 开源 Limite 1B Violetto，2026-09-21 发布。远超 1.5B / 2B / 3B / 4B / 9B 模型，比肩qwen3.5-27b。 从零训练，语料不到 300B token，高度精筛 + 合成数据 + SFT + RL。 • 48 层 / hidden 1280 / 10 头 2 KV 头 / head_dim 128 • 滑窗 1024 + 每 4 层插一层 global NoPE • 价值嵌入（value_embeds）、注意力门（attn_gate）、XSA • 可学习残差系数（resid_lambda_ / post_lambda_）、稠密残差混合（mudd） • sigmoid logit softcap、rope_base 只有 1024、交错配对 + 奇位翻号 • 词表 262144、上下文 131072 huggingface.co paradigma-inc/limite-1b-violetto · Hugging Face We’re on a journey to advance and democratize artificial intelligence through open source and open science. 1 个帖子 - 1 位参与者 阅读完整话题

  • 情报分类：开源项目与落地
  • 分类依据：开源数学专用模型发布，给出架构、训练细节与权重下载，属开源项目落地
  • 信息来源：服务器 / LINUX DO - 最新话题
  • 发布时间：2026/9/25 10:45:42