状态:实验设计 Demo,数据将在接入实际模型后补充。
模型路由不能只按单次调用价格选择。最小实验至少同时记录:
| 指标 | 目的 |
|---|---|
| 任务成功率 | 判断输出是否真正可用 |
| 首字延迟 | 衡量交互体验 |
| 总耗时 | 衡量端到端吞吐 |
| 单位成功成本 | 避免“便宜但失败更多” |
实验会将简单抽取、结构化生成和多步推理分层,分别选择满足质量阈值的最低成本模型。
状态:实验设计 Demo,数据将在接入实际模型后补充。
模型路由不能只按单次调用价格选择。最小实验至少同时记录:
| 指标 | 目的 |
|---|---|
| 任务成功率 | 判断输出是否真正可用 |
| 首字延迟 | 衡量交互体验 |
| 总耗时 | 衡量端到端吞吐 |
| 单位成功成本 | 避免“便宜但失败更多” |
实验会将简单抽取、结构化生成和多步推理分层,分别选择满足质量阈值的最低成本模型。