第三方研究第三方预印本编辑总览
2026 年 10 月 Jev 研究总览
一份基于来源整理的 Jev 研究总览,覆盖心智理论、应用安全、对抗稳健性、医疗决策和决策偏差等六篇独立第三方预印本。
Type Safe 编辑团队整理六篇在 2026 年 10 月 13 日至 16 日提交或修订的非同行评审预印本。Type Safe 尚未独立复现相关结果,不会把不同任务和指标合并成单一总分或全球排名。
- 发布方
- Type Safe
- 发布或提交日期
- 2026年10月19日
- 最近核验
- 2026年10月19日
Type Safe 仅整理来源和证据边界,不把提供方数据或第三方预印本转换为独立排行榜。
关键事实
- 覆盖论文
- 6 篇独立预印本
- 证据日期
- 2026 年 10 月 13–16 日
- 评审状态
- 第三方、未经同行评审
- 编辑处理
- 不合并总分或排名
任务与范围
六篇独立 Jev 预印本,覆盖 11,117 个问题的心智理论评测、应用决策劫持、文本与视觉稳健性、受控对抗判断、15 个医疗数据集和决策偏差实验。
研究归属 · 6 篇论文
由 Type Safe 编辑团队整理的六篇独立第三方预印本。
论文报告结果
- Jev-ToM 在 9 个心智理论基准的 11,117 个英文问题上比较 5 个类型化模型和 7 个生成式基线。论文报告 Jev 的来源平衡准确率为 73.2%,不同任务和置信度设置下的结果存在差异。
- JPDH 研究覆盖 228 个应用和 2,273 个程序级测试案例。论文报告 1,853 个案例出现决策翻转,决策翻转率为 81.5%;其中 1,827 个翻转被归类为可能不安全,占翻转的 98.6%。这些数值仅为论文报告,尚未独立复现。
- DecisionRobust 在扰动和提示注入攻击下评测 30 个文本配置与 17 个视觉配置。论文报告相对稳健性会随任务和攻击变化,标签一致性检查也会明显改变测得的攻击成功率。
- Same Attack, Different Judge 在四类任务上对 Jev、LLM 判断模型和专用安全分类器进行受控对抗比较。结果混合且依任务变化,不能据此建立通用模型排名。
- 医疗研究覆盖 15 个医疗数据集和 8,742 个实例。10 月 16 日的 v2 修订报告文本任务表现强于数值任务,并指出弃权行为存在局限。
- 偏差案例研究分析 41,500 个回答以及额外 15,000 个回答。论文报告模型对无关数字和选项顺序敏感,在改编任务上出现 54% 的合取规则违例。
代码与数据可用性 · 代码
各论文的研究产物可用性不同。本页链接 arXiv 原始记录,不对论文关联的每个仓库或实现作认证。
代码与数据可用性 · 数据
数据集和样本数量来自各论文报告;Type Safe 未汇总或验证一个合并数据集。
方法与使用方式
- 每项研究均依据对应 arXiv 原始页面整理,并把研究范围、报告数值和限定条件保留在对应来源下。
- 应用安全、稳健性、医疗、社会推理和偏差研究采用不同任务与指标,因此总览分开呈现,不做直接横向合并。
- 日期依据 2026 年 10 月 19 日可见的 arXiv 提交历史;医疗研究包含 10 月 16 日发布的 v2 修订。
限制与证据边界
- 六项研究均为第三方预印本,截至核验日期尚未完成同行评审。
- Type Safe 尚未独立复现实验、审计全部研究产物或验证论文报告的数值。
- 各研究采用不同任务、样本、攻击、基线和指标,相关结果不能合并成统一总分或全球排名。
- 预印本可能继续更新,读者应通过链接的 arXiv 页面检查后续版本。
主要来源
- Jev-ToM: Evaluating Theory of Mind in Typed Decision ModelsarXiv · 2026-10-19打开来源
- Nudge the Judge: Uncovering Program Decision Hijacking in Real-World Jev ApplicationsarXiv · 2026-10-19打开来源
- DecisionRobust: Benchmarking Robustness for JEV Style Decision Models Across Text and VisionarXiv · 2026-10-19打开来源
- Same Attack, Different Judge: A First Controlled Adversarial Comparison of Jev, LLM Judges, and Purpose-Built Safety ClassifiersarXiv · 2026-10-19打开来源
- How Reliable Are System-One Decisions in Medicine? A Comparative Study of Jev, Jev-like Models, and LLMsarXiv · 2026-10-19打开来源
- Are AI Decision Models Biased? A Case Study of JevarXiv · 2026-10-19打开来源