Type Safe
官方数据合集提供方公开资料

TypeSafe WorkflowEvals 工作流评测集

由 TypeSafe AI 发布的四类数据集,用于评测模型在发票、客服、安全事件和 Agent 审查工作流中的决策表现。

WorkflowEvals 把工作流案例、带策略条件的问题、参考决策和公开模型运行结果组织在一起。Type Safe 将其作为证据资料收录,不据此生成独立排行榜,也不构成背书。

发布方
TypeSafe AI
发布或提交日期
来源未注明
最近核验
2026年10月8日

Type Safe 仅整理来源和证据边界,不把提供方数据或第三方预印本转换为独立排行榜。

关键事实

数据集数量
4 个
仓库默认模型
typesafe:jev-1.13.0
公开指标
exact_actions 与 primary_action

方法与使用方式

  • 每个工作流都包含案例、带策略条件的问题实例、参考标签和公开运行结果。
  • 仓库可针对选定参考重新计算一致率,并在工作流支持时比较完整动作集合和主要动作。
  • 公开支持的提供方包括 OpenAI、Anthropic、Fireworks、Groq、Cerebras 和 TypeSafe;缺失的费率会保留为未知。

限制与证据边界

  • 数据集和评测代码由提供方发布,因此本站不会把相关结果描述为独立基准。
  • 与选定参考结果的一致率不能代表所有真实工作流中的通用质量。
  • 数据集许可证以各自仓库为准,不能从评测代码的 Apache-2.0 许可证推断。

主要来源

相关页面