今天看到社区里有不少人拿DeepSeek或其他指纹库外模型的测试结果来判断模型蒸馏，我想做一些说明 首先，这个用这个东西去判断蒸馏就是不合理的，数字序列本质就是模型偏好的一种体现，你能因为两个模型都喜欢 猫、向日葵和蓝色 就认为互相蒸馏吗 其次于算法上是不合理的，最终概率输出是经过了一层Softmax，概率之和一定是100%，值是相对的而非绝对的，我也早已在测试网页上写道：“本工具仅对指纹库内的模型进行归因；若待测模型不在指纹库中，得到任何结果都有可能。”，你应该把它看为一种验证工具，如果结果和你的预期模型一致，那就没问题，如果不一致，也不应该关注结果中更像哪个，因为你无法确定这个模型在不在指纹库内 ModelTrace最初的算法是在GPT/Claude的数据集上设计和验证的，当时在测试数据上达到了100%acc，也做过相应的消融实验，之后才将其开源。随着GPT/Claude不断更新，发现原来的算法仍然具有一定的稳定性，所以也持续跟进了指纹库 我其实也考虑过往指纹库里加入更多模型，但实际尝试后发现，随着模型种类增加，模型之间的混淆和误判也越来越多。虽然整体准确率看起来还可以，但考虑到我希望结果尽可能可信，还是没有把这些模型加入正式指纹库 这也意味着，即使在指纹库添加了GPT/Claude之外的模型，算法给出的结果并没有经过充分的准确率验证 实际上，即使是指纹库内的GPT/Claude，现在测试也可能遇到一些误判 一方面，我自己能采集和验证的数据量毕竟有限，即使在已有数据上取得了很高的准确率，也不能够覆盖真实使用中所有可能出现的情况，一些低频误判很容易在小规模测试中被遗漏 另一方面，订阅提供的模型并不是一成不变的 例如6Astra和6.1Sol的指纹非常相似。我后来也找到了一些能够明显改善区分效果的特征和算法。 但最终我没有把这版算法更新上去，因为我发现在最初采集的数据上准确率可以达到约95，过了几天之后再采集新鲜数据准确率掉到80多了，再之后采集就掉到70多了，可见Astra和6.1sol越来越像（Astra降智了），而指纹库内的数据都是在新模型出来第一天采集的，如果后续动态降智了，偶发混淆的概率也会越来越大 所以现在算法其实还是有些不完美的，如果你能提供一些帮助，欢迎PR ModelTrace的结果只是参考，判断最终还是由人来进行的，希望大家能在这个信息爆炸的时代能够保留自己的判断力 1 个帖子 - 1 位参与者 阅读完整话题

  • 情报分类：技术学习与提效
  • 分类依据：内容涉及技术、AI、软件工具或工程实践
  • 信息来源：服务器 / LINUX DO - 最新话题
  • 发布时间：2026/10/17 21:57:00