什么是 Jev?TypeSafe AI System One 决策模型详解
了解 Jev 如何通过 Choice、Score 与 Noul 返回可供软件直接使用的类型化决策,以及它在 AI 工作流中的适用场景、局限和评估方法。
快速了解 Jev
Jev 是 TypeSafe AI 推出的首个 System One 模型。它面向软件里的有限范围决策:开发者提供一段状态信息,再提出一个或多个答案范围已经确定的问题,Jev 返回类型化结果和对应概率,程序随后根据这些结果决定下一步动作。
它适合处理分类、路由、评分、过滤、验证等重复出现的判断任务。它不负责写文章、生成代码、完成精确计算,也不能替代通用大语言模型。
可以把三者的分工理解为:
- 生成式大模型负责写作、解释和开放式推理。
- Jev 在预先定义的答案范围内进行选择或评分。
- 普通代码负责权限、精确运算、阈值和最终执行。
Jev 在 2026 年 9 月发布,目前仍是非常新的模型。速度、成本和校准能力方面的许多数据来自 TypeSafe 自己的评测,独立研究刚刚出现。团队在正式采用前,仍需用自己的真实任务、标签和边界案例做验证。
TypeSafe 为什么要做一个决策模型
目前大多数 AI 应用围绕生成文本的大模型搭建。同一个模型可以写邮件、总结文档、编程和解释问题,灵活性很高。当模型的回答要直接进入程序分支时,这种自由度也会增加工程负担。
以客服工单为例,系统可能只需要判断三件事:工单应分配给哪个团队、客户有多不满、是否需要紧急处理。
通用大模型能够回答这些问题,但应用还要解析文本或 JSON、验证标签、处理格式错误、进行重试,并判断结果是否可靠到足以触发自动操作。结构化输出可以减少一部分麻烦,不过生成式模型仍在逐个生成 token,而这个任务的可选答案在请求前就已经确定了。
TypeSafe 把 System One 模型定位为一种面向这类窄任务的模型。Jev 接收文本形式的状态,返回带概率的类型化决策。它更接近一个具有语义判断能力的函数:状态作为输入,决策作为输出。
System One 这个名称借用了快速直觉判断的概念。在 TypeSafe 的产品语境里,它强调的是嵌入软件的快速判断,并不代表模型的每次判断都正确。
Jev 如何工作
一个 Jev 工作流通常由四部分组成。
1. 状态
状态是需要模型判断的信息,可以是客户消息、检索到的段落、Agent 执行记录、文档、表单内容,或数据库记录中的部分字段。
当前模型只接收文本。TypeSafe 文档显示,状态可以是字符串、JSON 对象或文本值组成的数组。图片、音频和视频需要提前转换成文字或结构化字段。
状态应尽量只保留与问题有关的信息。TypeSafe 的局限说明明确提到,大量无关内容会降低准确率。可以先用检索或普通代码筛选,再把必要信息发送给 Jev。
2. 类型化问题
开发者围绕状态提出聚焦的问题,并为每个问题规定结果类型和判断标准。多个问题可以共用同一份状态,在一次请求中完成判断。
这种设计会促使团队把宽泛的业务规则拆成多个小判断。例如,客服工作流可以分别判断部门、紧急程度、情绪和是否需要人工审核,再由代码把结果组合起来。
3. 类型化答案和概率
Jev 为每个问题返回答案。Choice 和 Score 会返回概率分布,以及根据分布计算出的 confidence。Noul 返回某个陈述为真的概率。
类型化结果可以防止模型在预设范围以外临时创造一个标签,但它无法证明所选标签一定正确。类型安全解决输出格式问题,真实业务评测解决决策质量问题。
4. 由代码控制动作
应用根据结果决定后续动作,例如分配队列、补充信息、转人工、调用另一个模型,或者暂时不处理。
Jev 提供的是模糊语义判断,精确逻辑、授权检查、外部副作用和风险控制仍应由普通代码负责。
Jev 的三种问题类型
TypeSafe 当前提供 Choice、Score 和 Noul 三种基础类型。
Choice
Choice 从开发者提供的选项中选出一个结果。它适合意图分类、队列分流、工具选择或下一步工作流选择。
例如,客服工单的选项可以是账单、技术支持、销售和其他。返回结果包含所选项、各选项概率和 confidence。
Choice 做的是相对比较。如果现实情况不属于任何选项,模型仍会在已有选项中寻找最接近的一个。设计分类时,通常应提供其他、无法判断或转人工之类的兜底选项。
Score
Score 按照有顺序的描述等级给状态打分,适合紧急程度、相关性、严重程度、质量或风险等判断。
每个等级需要写清楚含义。例如,三档客户情绪应说明平静、不满和强烈愤怒在当前业务里分别有哪些表现。只写 1、2、3,会留下更多解释空间。
Score 不适合代替计算器。TypeSafe 提醒,Jev 1.13 在数字精度方面较弱,不能通过两个评分档位之间的概率推算精确数值。
Noul
Noul 用于判断一个是或否的陈述,并返回答案为是的概率。它没有直接返回传统布尔值,因此 TypeSafe 使用了一个单独的名称。
常见问题包括:一条消息是否紧急、一段资料是否支持某个说法、一次 Agent 操作是否需要审核。
根据当前文档,Noul 不会像 Choice 和 Score 那样额外返回 confidence 字段。应用直接使用它给出的概率。
Jev 和通用大语言模型有什么区别
Jev 与生成式大模型都能处理部分分类任务,但两者的接口和主要用途不同。
| 对比项 | Jev | 通用大语言模型 |
|---|---|---|
| 主要输出 | 类型化决策和概率 | 生成文本或结构化文本 |
| 适合任务 | 范围明确、反复出现的判断 | 写作、对话、信息整合和开放式推理 |
| 答案范围 | 请求前定义 | 可以完全开放 |
| 工作流角色 | 分类、路由、评分、过滤和拦截 | 解释、创造、规划、转换和推理 |
| 精确运算 | 交给代码 | 仍建议由代码完成精确结果 |
| 风险控制 | 概率阈值和明确的审核路径 | 格式验证、重试、工具检查和审核路径 |
很多实际系统会采用混合方案。Jev 先判断应该调用哪个专家、工具或模型,生成式大模型再负责写回复、生成代码或完成更深的分析,确定性代码负责检查权限和执行动作。
这样的结构更容易检查每一步发生了什么,但也会增加一个模型和一套阈值。只有真实评测显示它能改善延迟、成本、可靠性或维护难度时,这个额外环节才值得保留。
Jev 适合哪些 AI 工作流
适合 Jev 的任务通常有三个特点:结果范围可以提前定义、判断会频繁发生、概率可以帮助系统决定自动执行还是升级处理。
意图识别和队列分流
识别用户请求,将它发送到客服队列、专门 Agent、普通程序或人工审核。分类体系里应有模糊或其他路径,避免模型被迫做出不合适的选择。
模型和工具路由
判断任务需要哪种能力,再选择成本较低的模型、更强的推理模型、搜索工具或专门工作流。评估时应看最终任务是否成功,不能只看路由标签和人工标签是否一致。
内容过滤和优先级排序
对检索段落进行相关性评分、排列运营事件、筛选报告,或判断哪些项目需要进一步分析。可以先通过检索缩小范围,再让 Jev 对候选内容做语义判断。
评估和验证
判断模型回复是否符合评分标准、引用是否支持结论,或者生成的动作是否需要审核。高风险验证需要独立的后备方案,因为一个模型检查另一个模型时,双方可能共享同样的盲点。
Agent 风险护栏
判断计划执行的动作属于什么风险等级,再决定继续执行、要求确认或转人工。Jev 不应成为授权权限的主体,权限和破坏性操作控制应写在确定性代码中。
大规模语义特征提取
把重复出现的语义判断转换为概率或分类,供分析系统或传统机器学习模型使用。结构化结果方便汇总,但团队仍需抽样检查质量、监控数据变化并建立标签修正流程。
哪些任务不应交给 Jev
Jev 的能力范围很窄,这也是它的产品特点。
不要让 Jev 写文章、回复客户、总结报告、生成代码或持续对话。Jev 1.13 并未针对文本生成进行训练。
不要把精确算术、计数、日期先后和时间差计算交给它。需要时可以让模型提取语义信息,再由代码计算准确结果。
避免在一个问题里隐藏多层推理和转述。把复杂问题拆成独立判断,再由代码组合。
如果决策只依赖几个字段,就不要发送完整数据记录、超长对话或整套文档。无关上下文可能降低准确率,也会让错误更难定位。
不要假定状态内容天然安全。TypeSafe 已经说明,对抗性文本、误导性表达和注入式指令可能影响 Jev 1.13 的回答。面对用户可控输入时,需要专门测试这类攻击。
还要特别注意:符合类型的答案不等于正确答案。模型可以在合法选项中做出高置信度的错误判断。
confidence 是路由信号,不是正确保证
Choice 和 Score 的 confidence 来自返回的概率分布。概率集中在某个结果时,confidence 较高;几个结果接近时,confidence 较低。
应用可以根据它设计多个处理路径:
- 高 confidence 且后果较轻时自动执行。
- 中等 confidence 或信息不足时补充信息、询问用户或进入审核。
- 低 confidence 时调用更强模型或转人工。
- 后果严重的操作即使 confidence 很高,也要求用户确认或人工审核。
不存在适用于所有业务的统一阈值。客服分流可接受的阈值,用在付款、账号删除、医疗或法律场景可能非常危险。团队应使用接近真实流量的已标注样本设置阈值,并在上线后持续监控。
校准也要针对本地任务验证。只有某个 confidence 区间能够稳定对应一个可预期错误率时,它才具有实际价值。模型版本、语言、问题写法、选项设计和流量变化都可能改变这个关系。
目前有哪些公开证据
TypeSafe 在 2026 年 9 月的发布资料中公布了较低的延迟、较低的输入价格、免费输出 token,以及在公司工作流评测中的大幅效率提升。官方模型页面当时给出的 Jev 1.13 价格为每百万输入 token 0.042 美元,请求上限为 64,000 token,并且只支持文本输入。价格、限制和模型版本都可能更新,实际预算应以最新官方文档为准。
TypeSafe 还表示 Jev 不会产生幻觉。这个说法需要按严格的输出类型来理解。Jev 只能返回开发者定义的值,因此无法在结果中创造任意字符串,也不会破坏答案结构。它仍然可能在合法选项中判断错误。类型安全与事实正确是两个不同属性。
TypeSafe 在发布文章和局限文档里公开了一些重要限定。公司说明,工作流评测中最显著的速度和成本提升可能处于真实收益的较高端;工作流由公司员工创建,可能存在偏差;零类型错误来自接口约束,并不是决策准确率的实证结论。
一些独立预印本在 Jev 发布几天后出现,提供了初步信号,但时间太短,尚不能视为稳定共识。
一项 2026 年 9 月的研究把 Jev 与 16 个生成式模型和奖励模型评审器进行比较。研究报告称,在普通偏好判断和基于证据的事实判断任务中,Jev 与最强对照模型相差不到三个百分点,测得费用只占很小一部分。当任务需要检查推导过程,或识别写得很有说服力但错误的答案时,差距会扩大。研究者还发现,在他们的实验条件下,把低 confidence 项目升级到更强评审器,可以保留较多对照模型的准确率。
另一项预印本把 Jev 与三个成本较低的大模型评审器放在多个评分面板中比较。许多准确率差异在统计上没有明确结论,Jev 在二元标准上更常占优,在多级评分上较弱。研究还发现了相关错误:大模型会重复 Jev 的许多高 confidence 错误,因此简单级联的收益受到限制。
现有结果支持一个谨慎的判断:对于部分答案范围明确、同时重视成本和延迟的任务,Jev 可能是有价值的第一层决策模型;基于 confidence 的升级策略不会自动可靠,仍需要具体任务的标签和错误分析。
如何评估 Jev 是否适合你的应用
可以从工作流里已经存在的判断入手,不要为了使用新模型临时创造一个任务。
1. 定义决策和错误代价
写清楚可选结果、发生错误后的影响,以及哪类错误更严重。错误批准与错误拒绝的后果可能完全不同。
2. 建立具有代表性的测试集
从真实业务中选择经过隐私处理的样本,覆盖常见情况、少见情况、模糊输入、多语言内容和已知失败模式。如果用户可以控制状态,还要加入对抗性样本。
3. 建立对照方案
把 Jev 与当前方案比较,包括普通规则、传统分类器、通用大模型和人工审核。评估完整流程中的验证、重试、延迟与人工成本。
4. 衡量决策质量
记录精确率、召回率、各类别混淆情况、校准表现、每个自动化阈值下的覆盖率,以及错误的严重程度。总体准确率可能会掩盖某个危险的弱项类别。
5. 测试 confidence 阈值
在一部分数据上选择阈值,再用未参与调参的数据验证。统计自动处理的流量比例和这部分结果的准确率,并检查低 confidence 项目是否真的更难。
6. 固定并记录模型版本
TypeSafe 提供 jev-latest 之类的浮动别名,也提供具体版本号。如果阈值基于某个版本调试,应在评估和上线初期固定版本,并记录每次响应返回的实际模型 ID。升级前重新测试。
7. 从保守审核开始上线
先设置较严格的自动化条件。日志记录要遵守隐私与数据保存规则。持续抽查正确和错误结果,监控分类分布变化,并保留随时关闭自动化的回退路径。
采用前检查清单
如果下面大多数问题的答案都是肯定的,Jev 值得进入测试:
- 请求前能否列出所有合理结果?
- 任务是否属于语义判断,而非文本生成或精确计算?
- 任务是否足够频繁,让延迟或成本变得重要?
- 是否可以准备接近真实流量的已标注样本?
- 不确定或高风险结果能否进入更安全的后备路径?
- 权限和外部操作是否仍由确定性代码控制?
- 上线后能否持续发现和分析错误?
如果逻辑完全明确,普通规则、分类器或数据库查询可能更合适。如果输出需要文章、代码、计划或开放式解释,应使用生成式模型。如果错误代价很高,而且判断标准无法稳定表达,人工审核仍然不可缺少。
常见问题
Jev 是大语言模型吗?
TypeSafe 把 Jev 定义为 System One 模型,与传统生成式大语言模型区分开来。它的内部实现和权重未公开,外部无法独立检查架构。能够直接观察到的差异是接口:Jev 不生成自由文本,只返回类型化决策和概率。
Jev 的结果是确定性的吗?
类型化输出让结果结构保持稳定,但不代表每次重复请求的概率一定完全相同,也不代表所选答案永远正确。如果重复一致性会影响业务,需要在自己的任务上专门测试。
Jev 能替代 GPT、Claude、Gemini 或其他生成式模型吗?
它不能替代这些模型完成写作、对话、代码生成、总结和开放式推理。如果某次大模型调用只负责一个有限范围的判断,Jev 有机会替代或补充这一步,前提是评测结果符合要求。
Noul 是什么意思?
Noul 是 TypeSafe 的是或否问题类型。它返回陈述为真的概率,不直接返回普通布尔值。
Jev 能彻底消除幻觉吗?
它可以避免输出预设类型以外的任意字符串,无法消除错误分类、标准设计不当、误导性输入和高 confidence 错误。
Jev 支持中文吗?
TypeSafe 表示当前模型可以处理包括中日韩文字在内的其他语言,但英文仍是训练的主要语言,也是目前表现最好的语言。中文业务必须使用有代表性的中文样本评估,并重点观察 confidence 与实际错误率。
Jev 可以开源部署或本地运行吗?
TypeSafe 当前通过托管服务提供 Jev。官方模型文档没有提供可下载权重或本地部署版本。
参考资料
- TypeSafe AI,Introducing System One Models and Jev,2026 年 9 月 15 日:https://typesafe.ai/blog/introducing-system-one-models-and-jev
- TypeSafe AI 文档,Quick start:https://docs.typesafe.ai/introduction/quickstart
- TypeSafe AI 文档,Models:https://docs.typesafe.ai/models
- TypeSafe AI 文档,Jev 1.13 jaggedness:https://docs.typesafe.ai/model-jaggedness/jev-1.13
- TypeSafe AI 文档,Confidence:https://docs.typesafe.ai/confidence
- Li、Miao、Krishnan 与 Padman,JEV-as-a-Judge: Accept When Confident, Escalate When Unsure,2026 年 9 月预印本:https://arxiv.org/abs/2609.26550
- Rao 与 Callison-Burch,JEV vs. LLMs as Rubric Judges: Cheaper, Faster, and Wrong in the Same Places,2026 年 9 月预印本:https://arxiv.org/abs/2609.29769