文档目录

10.2 模型配置

灵枢模型配置通过场景化选择模型、自动降级、效果对比和版本管理,帮用户为每个AI功能选对模型,降低成本并避免业务中断。

  • 场景化配置:写作用大模型,分类用小模型
  • 降级策略:主模型故障自动切换备用模型
  • 效果对比:同一任务跑不同模型选最优
  • 版本管理:自动追踪更新,平滑过渡

一句话定位:不同场景用不同模型——写作用大模型,分类用小模型,该省则省,该花则花。

模型配置是灵枢的"调度器"——帮您为每个 AI 功能选对模型。

您现在的问题

场景一:所有功能用同一个模型。 写文章用最强的模型,做简单分类也用最强的模型——杀鸡用了牛刀,成本是应该花的十倍。合理分配模型可使 AI 成本降低 40%~60%,效果不降。

场景二:想换模型不敢换。 知道有个更便宜或更好的模型,但不敢换——怕换完之后效果变差,影响业务。没有对比机制,就永远不知道"换了好不好"。

场景三:模型版本升级了没人知道。 供应商推出了新模型、旧模型即将下线——没有人关注这些信息,等旧模型停用了才发现问题。20242025 年主流供应商平均每年下线 35 个旧模型。

场景四:AI 功能和模型"硬绑定"。 代码里写死了模型名——想换模型要改代码、重新部署。业务人员想调模型,得等开发排期——响应速度跟不上业务变化。

功能全景

模型配置让"AI 选型"从拍脑袋变成看数据:

供应商模型池(10.1 注册的供应商下所有可用模型)
        ↓
功能-模型绑定(每个 AI 功能绑定一个主模型 + 一个备用模型)
        ↓
├─ 文章写作 → 大模型(创意能力强)
├─ SEO 优化 → 中等模型(结构化输出)
├─ 智能分类 → 小模型(速度快、成本低)
├─ AI 问答 → 大模型+RAG(准确性优先)
└─ 外呼话术 → 中等模型(低延迟)
        ↓
降级策略(主模型不可用 → 自动切备用 → 恢复后切回)
  • 场景化配置。 为不同 AI 功能配置不同的模型——大模型做创意、小模型做分类,成本和效果的最佳平衡。
  • 降级策略。 主模型不可用时自动切换到备用模型——不会因为一个模型挂了而影响业务。
  • 模型效果对比。 同一个任务用不同模型跑一遍,对比效果——帮您找到性价比最高的选择。
  • 版本管理。 自动追踪模型版本更新,新旧切换平滑过渡。

操作指南

  1. 查看绑定 → AI 引擎 → 模型配置 → 功能-模型映射表:每个功能当前用什么模型;
  2. 修改绑定 → 选择功能 → 切换模型 → 保存(即时生效,无需重启);
  3. 设降级 → 为每个功能配置备用模型(主不可用时自动切换);
  4. 效果对比 → 选择功能 → "对比测试"→ 用两个模型各跑 10 条 → 对比结果;
  5. 查看版本 → 模型版本追踪:当前版本/最新版本/下线预警。

关键配置项:

  • 功能绑定:featureName → modelId(一对一映射)
  • 降级链:主模型 → 备用1 → 备用2
  • 参数覆盖:temperature/maxTokens 按功能自定义
  • 切换策略:自动(健康检测触发)/ 手动(管理员操作)

最佳实践

  1. 按"任务复杂度"选模型。 创意写作/深度分析→大模型;分类/提取/格式化→小模型。不是所有任务都需要最贵的模型。
  2. 换模型前必做 A/B 对比。 用同一批测试数据跑两个模型——看效果差异再决定。别凭感觉换。
  3. 关注供应商的"下线公告"。 主流供应商通常提前 3 个月公告模型下线——收到公告后及时迁移。
  4. 配置变更走"灰度"。 新模型先切 10% 流量试跑——确认无问题再全量切换。

常见误区

误区一:模型越贵越好。 最贵的模型不一定最适合您的场景——简单分类任务用大模型,效果提升 2% 但成本增加 10 倍。适合>贵。

误区二:配好了就不管了。 模型在迭代、价格在变化、新模型在推出——每季度审视一次模型配置,看有没有更优选择。

与其他能力的配合

  • 模型配置基于 10.1 供应商管理 中注册的供应商和模型;
  • 每个 AI 技能调用时,通过功能绑定自动选择配置的模型;
  • 模型使用量和成本数据汇入 10.3 用量配额
  • 10.4 对话中心 的每次对话标注了使用的模型,方便追溯效果;
  • 模型切换事件记录在审计日志中。

关键指标

指标健康值说明
功能绑定覆盖率100%每个AI功能都有明确的模型绑定
降级成功率100%主模型异常时成功切到备用
模型成本优化率逐季优化同等效果下的成本变化趋势
版本更新响应<7天从供应商公告到完成迁移的时间

常见问题

如何为不同的AI功能配置不同的模型?

通过场景化配置功能,可以为文章写作、SEO优化、竞品分析、智能分类、AI问答等不同AI功能分别指定不同的模型。例如,创意类任务使用大模型,分类任务使用小模型,从而实现成本与效果的最佳平衡。配置后,每个AI技能调用时会自动通过 resolveAIConfig 选择对应的模型。

模型配置主要解决哪些常见问题?

模型配置系统主要解决三类用户痛点:

  1. 所有功能用同一个模型:写文章和简单分类都使用最强模型,导致成本浪费(杀鸡用牛刀)。
  2. 想换模型不敢换:担心更换后效果变差影响业务,不敢尝试更便宜或更好的模型。
  3. 模型版本升级无人知晓:供应商推出新模型或旧模型即将下线,用户未能及时关注,导致服务意外中断。
如果主模型不可用怎么办?

模型配置提供了降级策略:当主模型不可用时,系统会自动切换到备用模型,确保业务不会因为单一模型故障而中断。这种机制保障了AI服务的高可用性,无需人工干预。

模型版本升级如何平滑过渡?

系统内置版本管理功能,自动追踪模型版本更新,支持新旧切换的平滑过渡。通过模型效果对比,可以对同一任务使用不同模型运行,直观对比效果,帮助您找到性价比最高的选择,从而放心切换。这样就避免了“突然发现模型不能用了”的情况。