第三方研究第三方预印本
Jev 算术拒绝瓶颈研究
一篇第三方预印本，报告当算术题选项中缺少正确答案时，Jev 的拒绝行为明显下降。
该研究使用成对算术选项，比较正确答案存在和缺失两种条件。页面整理作者报告的结果和边界，不声称已经识别模型内部机制。
- 发布方
- arXiv
- 发布或提交日期
- 2026年9月30日
- 最近核验
- 2026年10月8日
Type Safe 仅整理来源和证据边界，不把提供方数据或第三方预印本转换为独立排行榜。
关键事实
- 证据类型
- 第三方预印本
- 研究设计
- 成对算术选项
- 模型访问方式
- 托管 API
任务与范围
通过 Jev 托管 API 评测成对的合成算术决策选项。
论文作者
Jike Zhong, Ming Li, Yuxiang Lai
论文报告结果
- 论文报告，在主要算术设置中，正确答案存在时选择正确选项的比例为 99%，正确答案缺失时的拒绝比例为 7%。
- 布尔核验条件下，论文报告的准确率为 99%。
- 论文报告的置信度阈值在正确答案缺失时达到 79% 拒绝率，同时保留 97% 的正确答案存在案例。
代码与数据可用性 · 代码
截至 2026-10-08，未核验到公开代码仓库。
代码与数据可用性 · 数据
截至 2026-10-08，未核验到可单独下载的数据集。
方法与使用方式
- 作者将算术题配对，分别提供包含正确答案和缺少正确答案的选项。
- 研究另设布尔核验任务，检查模型能否判断一个给定算术答案是否正确。
- 置信度阈值分析用于测试对报告输出设置弃权规则的可能效果。
限制与证据边界
- 任务由合成算术选项构成，不能代表更广泛的生产决策场景。
- 研究观察的是托管 API，无法据此确定所报告行为的模型内部机制。
- 截至核验日期，未找到可独立核验的公开代码或数据集产物。