我只能理解用大参数模型蒸馏出小参数模型,可以显著提升小参数模型的能力。 但我一直有个疑问,现在的开源权重模型已经到万亿参数了,就 a 家说的那几亿调用的数据,拿来用真的能对模型训练起到明显的作用吗?


  • 情报分类:技术价值
  • 命中依据:模型蒸馏技术问题讨论,有明确技术对象
  • 来源:服务器 / V2EX
  • 原作者:unclemcz
  • 发布时间:2026/9/11 17:33:16