第三方研究第三方预印本
Jev 序数评分偏差研究
一篇第三方预印本，研究有序答案刻度如何影响 JEV-like 直接决策模型的选项使用和错误分布。
作者在 40 个数据集上评测 JEV 1.13 和三个 KEV 变体，对比序数与名义刻度，并报告 BA-LoRA 缓解实验。页面中的数值均为作者报告结果。
- 发布方
- arXiv
- 发布或提交日期
- 2026年9月30日
- 最近核验
- 2026年10月8日
Type Safe 仅整理来源和证据边界，不把提供方数据或第三方预印本转换为独立排行榜。
关键事实
- 证据类型
- 第三方预印本
- 数据集数量
- 40 个
- 研究模型
- JEV 1.13 与三个 KEV 变体
任务与范围
在 40 个数据集上使用序数和名义输出刻度评测 JEV 1.13 与三个 KEV 变体。
论文作者
Tianxiang Gao, Jinzhe Li, Zhiyuan Li, Yi Chang, Yuan Wu
论文报告结果
- 论文报告，在 ANLI 上准确率为 74.95% 时，38.8% 的预测和 51.3% 的错误集中在 Neutral。
- 论文报告的序数刻度利用率为 67–76%，名义刻度为 87–102%；当 K=14 时，报告范围降至 26–75%。
- 论文报告 BA-LoRA 在相应实验中把利用率从约 47% 提升到 86%。
代码与数据可用性 · 代码
作者提供了公开 GitHub 代码仓库。
代码与数据可用性 · 数据
论文列出了评测数据集；未核验到单独汇总发布的数据产物。
方法与使用方式
- 研究在 40 个数据集上比较有序的序数刻度与名义答案集合。
- 研究分析 JEV 1.13 和三个 KEV 变体的输出利用率与错误集中情况。
- 作者测试 BA-LoRA 是否能缓解序数刻度利用率偏低的问题。
限制与证据边界
- 研究分类覆盖三类刻度来源，无法代表所有有序决策任务。
- 研究只涉及一个托管系统和一个开放模型家族，提供方与架构覆盖有限。
- 无法排除模型曾接触部分评测数据的可能性。