Type Safe
第三方研究第三方预印本编辑总览

2026 年 10 月 Jev 研究总览

一份基于来源整理的 Jev 研究总览,覆盖心智理论、应用安全、对抗稳健性、医疗决策和决策偏差等六篇独立第三方预印本。

Type Safe 编辑团队整理六篇在 2026 年 10 月 13 日至 16 日提交或修订的非同行评审预印本。Type Safe 尚未独立复现相关结果,不会把不同任务和指标合并成单一总分或全球排名。

发布方
Type Safe
发布或提交日期
2026年10月19日
最近核验
2026年10月19日

Type Safe 仅整理来源和证据边界,不把提供方数据或第三方预印本转换为独立排行榜。

关键事实

覆盖论文
6 篇独立预印本
证据日期
2026 年 10 月 13–16 日
评审状态
第三方、未经同行评审
编辑处理
不合并总分或排名

任务与范围

六篇独立 Jev 预印本,覆盖 11,117 个问题的心智理论评测、应用决策劫持、文本与视觉稳健性、受控对抗判断、15 个医疗数据集和决策偏差实验。

研究归属 · 6 篇论文

由 Type Safe 编辑团队整理的六篇独立第三方预印本。

论文报告结果

  • Jev-ToM 在 9 个心智理论基准的 11,117 个英文问题上比较 5 个类型化模型和 7 个生成式基线。论文报告 Jev 的来源平衡准确率为 73.2%,不同任务和置信度设置下的结果存在差异。
  • JPDH 研究覆盖 228 个应用和 2,273 个程序级测试案例。论文报告 1,853 个案例出现决策翻转,决策翻转率为 81.5%;其中 1,827 个翻转被归类为可能不安全,占翻转的 98.6%。这些数值仅为论文报告,尚未独立复现。
  • DecisionRobust 在扰动和提示注入攻击下评测 30 个文本配置与 17 个视觉配置。论文报告相对稳健性会随任务和攻击变化,标签一致性检查也会明显改变测得的攻击成功率。
  • Same Attack, Different Judge 在四类任务上对 Jev、LLM 判断模型和专用安全分类器进行受控对抗比较。结果混合且依任务变化,不能据此建立通用模型排名。
  • 医疗研究覆盖 15 个医疗数据集和 8,742 个实例。10 月 16 日的 v2 修订报告文本任务表现强于数值任务,并指出弃权行为存在局限。
  • 偏差案例研究分析 41,500 个回答以及额外 15,000 个回答。论文报告模型对无关数字和选项顺序敏感,在改编任务上出现 54% 的合取规则违例。

代码与数据可用性 · 代码

各论文的研究产物可用性不同。本页链接 arXiv 原始记录,不对论文关联的每个仓库或实现作认证。

代码与数据可用性 · 数据

数据集和样本数量来自各论文报告;Type Safe 未汇总或验证一个合并数据集。

方法与使用方式

  • 每项研究均依据对应 arXiv 原始页面整理,并把研究范围、报告数值和限定条件保留在对应来源下。
  • 应用安全、稳健性、医疗、社会推理和偏差研究采用不同任务与指标,因此总览分开呈现,不做直接横向合并。
  • 日期依据 2026 年 10 月 19 日可见的 arXiv 提交历史;医疗研究包含 10 月 16 日发布的 v2 修订。

限制与证据边界

  • 六项研究均为第三方预印本,截至核验日期尚未完成同行评审。
  • Type Safe 尚未独立复现实验、审计全部研究产物或验证论文报告的数值。
  • 各研究采用不同任务、样本、攻击、基线和指标,相关结果不能合并成统一总分或全球排名。
  • 预印本可能继续更新,读者应通过链接的 arXiv 页面检查后续版本。

主要来源

相关页面