评测
reviewbench：我们能预判多少真实审稿意见。
更新于 23 Oct 2026 · 20 篇独立测试论文 · eLife Reviewed Preprints
摘要
我们选取审稿意见公开的已发表生命科学稿件，在审稿人看到的版本上运行我们的审稿，统计审稿人的主要意见有多少也被我们的报告提出。在 20 篇独立测试论文上，当前版本预判到了 85% 的主要意见，最弱的是新颖性和论述框架。
- 主要意见命中率
- 85%95% 置信区间 80%–89% · 门槛 85%
- 全部意见命中率
- 71%95% 置信区间 67%–75%
- 引用真实率
- 100%引用逐字出现在原文中
- 两次运行的波动
- ±2 点同一配置跑两次
图 1各版本的主要意见命中率。实心点表示达到上线门槛；没达到的版本不会用于付费报告。
图 2当前版本按问题类型的命中率；n 是测试集中该类型审稿意见的数量。
数据集
共 50 篇 eLife 审阅预印本，审稿时间在 2026 年 6 月至 10 月之间，涉及 19 个生命科学学科。我们只划分一次：30 篇用于调提示词，20 篇留作独立测试。我们看过审稿意见的论文一律留在训练集。
每份审稿意见拆成一条条独立的问题，按审稿人自己的措辞标为主要或次要，再归入六种问题类型之一。
评分
对每条审稿意见，我们判断报告中是否有某条问题指出了同一个问题——不要求措辞相同。命中率就是被命中的审稿意见所占比例。
我们还会检查报告中的每条引用是否逐字出现在稿件里。找不到引用的问题在报告交给你之前就被删除，所以引用真实率按设计是 100%；我们会公开被删除的数量。
怎样才算改进
95% 置信区间按论文自助抽样得到，反映分数在多大程度上取决于抽到了哪二十篇。模型输出每次运行也有波动，所以新版本在独立测试集上必须比当前版本高出超过运行波动（约 2 个百分点），才算更好。低于 85% 上线门槛的版本不用于付费报告。
局限
审稿人也会遗漏，他们提出的意见也不全对。一条没有对上任何审稿人的问题仍可能成立；这类问题我们用专家抽查单独跟踪，不计入这里的分数。
测试集只有 eLife 和生命科学稿件。结果未必适用于临床、物理或计算类论文；在这些学科有自己的评测之前，我们不会开放。