8.4交付、成本与运营

先给直觉

AI Demo 只要证明：

它可以工作。

AI 产品上线前要证明：

它在真实用户、真实数据、真实成本、真实失败下仍然可控。

这两者差距很大。

上线不是把 Demo 放到服务器上，而是补齐成本、延迟、权限、日志、评估、失败处理和运营机制。

交付前检查

上线前至少检查：

• 用户任务是否清楚。
• 模型选择是否有依据。
• Prompt 是否版本化。
• 是否有评估集。
• 是否有失败兜底。
• 是否记录日志。
• 是否有成本预算。
• 是否有权限控制。
• 是否处理隐私。
• 是否有人工审核策略。

如果这些都没有，只是“能回答”，还不能算可交付。

成本来源

AI 产品成本包括：

1. 模型调用成本

通常和输入、输出 Token 相关。

输入越长，成本越高。

输出越长，成本越高。

2. Embedding 成本

RAG 系统需要为文档生成 Embedding。

文档越多、更新越频繁，成本越高。

3. 检索和存储成本

包括向量数据库、搜索服务、文件存储。

4. 工具调用成本

外部 API、代码执行、图片生成、语音转写都可能收费。

5. 多模态成本

图片、音频、视频通常比文本更贵。

6. 人工审核成本

高风险场景需要人工介入。

7. 工程运维成本

监控、日志、告警、部署、权限、安全都需要人维护。

成本估算

做成本估算时，至少要有：

项目	示例
日活用户	1000
人均请求数	20
单次输入长度	3000 Token
单次输出长度	800 Token
模型单价	需要查当前官方价格
RAG 检索成本	向量库和存储
工具调用成本	搜索、转写、图片等

高变化价格必须查官方来源，不要把旧价格写死进课程。

成本控制

1. 控制上下文

不要把所有资料都塞进模型。

使用检索、摘要、过滤和缓存。

2. 模型路由

简单任务用便宜模型，复杂任务用强模型。

3. 缓存

常见问题可以缓存。

注意：涉及用户隐私和个性化结果时，缓存要谨慎。

4. 输出长度限制

限制最大输出，避免模型长篇发挥。

5. 限流

防止单个用户或异常请求造成成本暴涨。

6. 批处理和异步

长任务可以异步处理。

7. 降级策略

强模型不可用或太贵时，可以降级到较小模型或排队处理。

延迟设计

用户能接受的等待时间取决于任务。

即时任务：

• 输入建议。
• 简短问答。
• 分类。

需要低延迟。

长任务：

• 视频总结。
• 报告生成。
• 大量资料分析。

可以异步处理，并显示进度。

产品设计要区分：

• 同步返回。
• 流式输出。
• 后台任务。
• 通知完成。

图：产品必须回答一个问题——失败时用户看到什么：重试、降级、补资料或转人工，并保存日志。

失败兜底

上线前要设计失败状态。

常见失败：

• 模型超时。
• API 限流。
• 工具失败。
• 检索无结果。
• 权限不足。
• 输出格式错误。
• 成本达到上限。

兜底方式：

• 重试。
• 降级模型。
• 提示用户稍后再试。
• 请求用户补充资料。
• 转人工。
• 保存任务状态。

版本管理

AI 产品需要版本管理：

• Prompt 版本。
• 模型版本。
• 检索策略版本。
• 工具 schema 版本。
• 评估集版本。
• 发布说明。

否则出了问题，很难知道是哪次改动导致的。

运营机制

上线后要持续运营。

包括：

• 每周查看失败案例。
• 更新评估集。
• 调整 Prompt。
• 更新知识库。
• 检查成本异常。
• 处理用户反馈。
• 发布版本说明。

AI 产品不是一次性交付。模型、用户、资料和价格都会变。

上线分阶段

建议：

阶段 1：内部试用

少量用户，重点看质量和风险。

阶段 2：灰度发布

扩大用户，监控成本和失败。

阶段 3：正式上线

有监控、告警、回滚和客服支持。

阶段 4：持续优化

用真实失败案例改进系统。

案例：课程问答助手上线

交付前检查：

• 已有课程资料索引。
• 有 50 个测试问题。
• 引用准确率达标。
• 资料不足时能拒答。
• 有日志记录。
• 有成本预算。
• 有用户反馈入口。

成本策略：

• 常见问题缓存。
• 普通问题用中等模型。
• 高风险问题要求引用和人工抽查。

运营策略：

• 每周看低评分回答。
• 每月更新课程知识库。
• 每次 Prompt 修改做回归测试。

常见误区

误区 1：Demo 能跑就能上线

Demo 只证明可能性，上线需要稳定性和可控性。

误区 2：成本上线后再看

成本不提前估算，用户一多就可能变成惊喜账单。

误区 3：失败提示不重要

失败提示决定用户是否继续信任产品。

误区 4：Prompt 不需要版本管理

Prompt 改动会影响产品行为，必须记录。

误区 5：AI 产品发布后就结束

上线只是开始，运营和评估才决定长期质量。

动手练习

为一个 AI 功能设计上线清单。

填写：

项目	内容
功能名称
目标用户
日请求量预估
模型选择
成本估算
失败兜底
日志记录
隐私策略
评估集
灰度发布计划