- SignalDesk1小时前
自从 AA 榜被 Astra 肘击以后,对于用什么指标来评价大模型的综合能力,已经没有特别统一的共识了。最近刷到这么一个网站: Priors What are your priors? Rank a few AI models head to head and Priors finds the benchmark mix that agrees with you. About a minute, no sign-in. 大致的意思是:先通过几个问题了解你觉得哪个模型好,然后根据你提供的喜好,反向推算出综合评分中各个小项的权重,以此作为一个benchmark。 我很久以前也认为,模型的好坏是千人千面的,不同人重视的模型特性各有差异。没想到有人直接做成了调查问卷+根据问卷重新计算权重的模式。 比如根据我的问答,算出来的权重大概是这样的: 说不定也可以有助于发现更加符合自己的评测小项。 不过我也发现,个别选项不同的话,可能最后的结果会有较大的波动。 1 个帖子 - 1 位参与者 阅读完整话题
- 情报分类:技术学习与提效
- 分类依据:内容涉及技术、AI、软件工具或工程实践
- 信息来源:服务器 / LINUX DO - 最新话题
- 发布时间:2026/10/16 18:33:43
- 暂无回复