GitHub 原文

模型路由

模型路由用于把不同类型的 AI 任务分配给合适的模型。长篇小说生产链里,规划、正文、审核、拆书和知识分析对模型能力的要求并不相同。

模型配置界面截图

什么时候需要配置

第一次使用时,可以只配置默认模型。跑通第一章后,如果遇到成本、速度或稳定性问题,再进入模型路由。

适合配置路由的场景:

  • 正文生成需要更强长文本模型。
  • 审核和修复经常输出格式错误。
  • 拆书任务需要更长上下文。
  • 开书规划需要更强推理能力。
  • 想把高成本模型只用于关键任务。

推荐任务矩阵

可以按任务类型选择模型:

任务推荐模型特征
开书方向推理稳定、能理解类型小说卖点
世界与角色长上下文、结构化能力好
卷和章节规划逻辑清楚、能保持全局一致
正文生成长文本自然、中文表达稳定
审核与修复遵循 JSON 和规则能力强
拆书分析信息抽取强、能处理长文档
知识库摘要稳定压缩、少遗漏关键事实

这只是起点。不同供应商模型表现会变化,建议用测试小说验证。

配置顺序

推荐从简单到复杂:

  1. 设置一个默认模型。
  2. 跑通新手上路和第一章。
  3. 把正文生成切到更适合长文本的模型。
  4. 把审核、修复、拆书切到结构化输出更稳定的模型。
  5. 观察任务中心失败率和输出质量。

如果路由太早拆得太细,排查问题会更困难。

成本控制

可以把高成本模型用于:

  • 开书方向最终选择。
  • 卷规划和关键章节任务。
  • 正文生成。
  • 复杂修复。

把低成本模型用于:

  • 简单摘要。
  • 状态解释。
  • 轻量检查。
  • 非关键候选扩展。

但不要为了省成本把结构化要求高的任务交给不稳定模型,否则失败重试可能更贵。

排查建议

某类任务连续失败时,先看它绑定了哪个模型。

常见处理:

  • JSON 解析失败:换遵循格式更好的模型。
  • 正文短或空泛:换长文本能力更好的模型。
  • 拆书遗漏多:换长上下文模型。
  • 任务慢:降低并发或换响应更快的模型。

模型路由影响的是 AI 任务质量和稳定性,不应替代产品流程判断。