Jev 决策系统上线:先路由再调用大模型,上下文缩小约 9 倍
ChengOS 现在可以在 Agent 前面放一个决策模型:在任何大模型运行之前,Jev 先读用户的最新请求,从你在画布上声明的路由里选一条,把请求交给只带所需工具的专用 Agent;不明确的请求仍交给原来的通用 Agent,能力不减。
我们在 157 条中英文请求(routing-eval-v2)上做了放行评测,结果如下:
| 结果 | |
|---|---|
| 路由准确率 | 156 / 157(99.4%) |
| 需工具回合的上下文 | 缩小约 9 倍(4,277 → 469 token) |
| 路由延迟 | 0.57 秒 p50(对话模型做路由为 1.4–2.9 秒) |
| 端到端完成度 | 与通用 Agent 持平,比 Tool Hub 高 5–9 条 |
几个值得一提的点:
- 路由器是优化,不是关卡。 闲聊、模糊或多意图请求、低置信度和故障都会退回通用 Agent,最坏情况就是今天的行为。
- 路由不授予权限。 每个工具调用仍要经过确定性的审批策略。
- 数据要留在本地? 可以换成在自己硬件上运行的 Laya,毫秒级作答,但更保守。
- 剩余风险是多意图表述:所有模型(包括 Jev)都错送了同一条「把代码审查结果发邮件给团队」。
📖 完整说明:Jev 决策系统 📊 交互式评测报告:Jev 语义路由评测 🛠️ 动手搭建:用决策分支做语义路由
欢迎在评论里分享你的路由场景和实测数据。