官方数据合集提供方公开资料
TypeSafe WorkflowEvals 工作流评测集
由 TypeSafe AI 发布的四类数据集,用于评测模型在发票、客服、安全事件和 Agent 审查工作流中的决策表现。
WorkflowEvals 把工作流案例、带策略条件的问题、参考决策和公开模型运行结果组织在一起。Type Safe 将其作为证据资料收录,不据此生成独立排行榜,也不构成背书。
- 发布方
- TypeSafe AI
- 发布或提交日期
- 来源未注明
- 最近核验
- 2026年10月8日
Type Safe 仅整理来源和证据边界,不把提供方数据或第三方预印本转换为独立排行榜。
关键事实
- 数据集数量
- 4 个
- 仓库默认模型
- typesafe:jev-1.13.0
- 公开指标
- exact_actions 与 primary_action
方法与使用方式
- 每个工作流都包含案例、带策略条件的问题实例、参考标签和公开运行结果。
- 仓库可针对选定参考重新计算一致率,并在工作流支持时比较完整动作集合和主要动作。
- 公开支持的提供方包括 OpenAI、Anthropic、Fireworks、Groq、Cerebras 和 TypeSafe;缺失的费率会保留为未知。
限制与证据边界
- 数据集和评测代码由提供方发布,因此本站不会把相关结果描述为独立基准。
- 与选定参考结果的一致率不能代表所有真实工作流中的通用质量。
- 数据集许可证以各自仓库为准,不能从评测代码的 Apache-2.0 许可证推断。