最近做了个工具想着加速推理引擎的模型适配，然后为了量化工具的效果设计了个benchmark，但是这个token用量太吃不消了。 这5个每个跑6次（3组A/B），就花了17亿的token，这要是跑全量权重我的钱包可能会当场暴毙，感觉得开源出来让感兴趣的佬帮忙跑一下了。 1 个帖子 - 1 位参与者 阅读完整话题