3.3与 LLM 协作的方法
本课只解决一个主问题:本单元只解决一个主问题:如何和 LLM 协作,才能得到更可靠、更有用的结果?
学习目标
学完本单元后,学习者应该能够:
- 把 LLM 当作协作工具,而不是答案机器。
- 学会向模型暴露任务背景、假设和判断标准。
- 使用反馈、追问、对比和复盘改进输出。
- 判断哪些任务适合交给模型,哪些必须由人类把关。
- 建立“人负责判断,模型负责辅助”的协作原则。
先给直觉
很多人使用 LLM 的方式是:
我问一个问题。
模型给一个答案。
我复制走。
这很像把模型当作答案自动售货机。
更好的方式是把它当作一个能力很强、速度很快、但需要你管理任务边界的协作者。
你要做的不是“等它给完美答案”,而是:
- 交代任务。
- 给背景。
- 设标准。
- 看输出。
- 指出问题。
- 要求修改。
- 最后由你判断。
LLM 很适合参与过程,但不适合替你承担最终责任。
人机协作的基本分工
人类更应该负责
- 定义目标。
- 判断什么重要。
- 提供真实背景。
- 决定风险边界。
- 审核事实和价值判断。
- 对最终结果负责。
模型更适合负责
- 快速生成初稿。
- 改写和压缩表达。
- 列出可能方案。
- 总结长文档。
- 生成练习题和示例。
- 检查明显问题。
- 按格式整理信息。
一句话:模型适合加速思考和生产,人类负责方向、判断和验收。
协作方法 1:先让模型暴露假设
当任务复杂时,不要急着让模型直接给答案。
可以先问:
在回答之前,请列出你需要做出的关键假设,并标出哪些假设可能影响结论。
适合场景:
- 产品方案评估。
- 学习路径设计。
- 选型建议。
- 商业分析。
- 风险判断。
模型的回答往往依赖假设。把假设摆出来,才方便你纠正。
协作方法 2:先问问题再执行
当信息不足时,让模型先提问。
示例:
我想做一个 AI 课程产品。请先问我 8 个关键问题,不要直接给方案。
这能避免模型过早输出一套看似完整但实际不贴合的方案。
适合:
- 需求分析。
- 课程设计。
- 内容定位。
- 产品规划。
- 咨询式任务。
协作方法 3:让模型给多个方案
不要总让模型给“一个最佳答案”。
更好的方式:
请给出 3 个方案:
1. 保守方案
2. 平衡方案
3. 激进方案
分别说明优点、风险、适用条件。
这个方法可以帮助你看到取舍。
很多真实问题不是“唯一正确答案”,而是“在约束下选一个可接受方案”。
协作方法 4:用 Rubric 反馈
低质量反馈:
不好,再改改。
高质量反馈:
请按以下问题修改:
1. 开头太抽象,换成具体场景。
2. 第三段用了术语,但没有解释。
3. 结尾缺少读者能带走的 takeaway。
4. 删除夸张表达,语气更克制。
模型不是不能改,是你要告诉它按什么标准改。
协作方法 5:让模型当审稿人
在写作、课程、产品方案中,可以让模型先做评审。
示例:
请以课程产品经理和 AI 专家的视角评审这节课。
只指出问题,不要重写。
重点检查:
- 学习目标是否清楚
- 技术解释是否准确
- 是否有跳步
- 是否有夸大表述
- 是否适合目标读者
这个方法适合发现盲点。
注意:模型评审不是最终事实核查,但能提高第一轮质量。
协作方法 6:把模型放进工作流
不要只把模型用于“最后生成”。
它可以参与多个阶段:
| 阶段 | 模型可以做什么 | 人类要把关什么 |
|---|---|---|
| 定义问题 | 列假设、问问题 | 目标和边界 |
| 收集资料 | 摘要、分类、提取 | 来源可靠性 |
| 形成方案 | 列选项、比较取舍 | 决策标准 |
| 生成内容 | 初稿、改写、格式化 | 事实和表达 |
| 检查质量 | 找漏洞、按 Rubric 打分 | 最终判断 |
| 复盘迭代 | 总结问题、生成改进清单 | 是否采纳 |
这比“最后让 AI 写一篇”更稳定。
协作方法 7:要求引用依据
涉及事实时,可以要求模型说明依据。
例如:
请把回答分成两列:
- 结论
- 依据
如果依据来自我提供的资料,请引用原文小标题。
如果没有依据,请标注“需要核查”。
这不能保证模型永远正确,但能让输出更容易检查。
协作方法 8:建立停止条件
有些任务模型不该继续猜。
可以明确:
如果信息不足,请停止并列出缺失信息,不要编造。
适合:
- 法律
- 医疗
- 财务
- 合同
- 企业制度
- 学术引用
模型最大的风险之一,是在应该停下来的地方继续说。
案例:用 LLM 设计课程单元
低质量用法:
帮我写一节 RAG 课程。
更好的协作流程:
- 让模型先问目标读者和课程定位。
- 让模型列出核心问题和容易误解的点。
- 让模型生成 3 种讲法。
- 人类选择主线。
- 模型写初稿。
- 模型按质量表自检。
- 人类检查技术事实和表达。
- 模型根据反馈重写。
这样模型参与了多个环节,但课程判断仍然在人类手里。
常见误区
误区 1:模型输出不好,就是模型不行
也可能是目标、背景、标准和反馈不清楚。
误区 2:模型很强,所以可以直接替我决策
模型可以辅助决策,但不能替你承担责任。
误区 3:多问几次总会得到真相
多次生成可以看到不同角度,但不能替代事实核查。
误区 4:人机协作就是让模型写,人类润色
更好的协作是让模型参与分析、比较、检查和复盘,而不只是写初稿。
动手练习
选择一个你最近要做的任务,设计一个 5 步人机协作流程。
要求:
- 写出任务目标。
- 标出哪些环节让模型做。
- 标出哪些环节必须由你判断。
- 设计一个 Rubric。
- 写出停止条件:什么时候模型应该说“不够信息”。
检查题(自测)
- 为什么说 LLM 更适合作为协作者,而不是答案机器?
- 让模型暴露假设有什么价值?
- 在高风险任务中,为什么要设置停止条件?
参考答案
- LLM 很适合快速生成、总结、改写、列方案和检查明显问题,但它不应该替人类承担目标判断、事实核查、风险边界和最终责任。把它当答案机器,容易直接复制错误内容;把它当协作者,则会把它放进一个有目标、有反馈、有审核的流程里。
- 模型的回答常常依赖隐含假设,例如目标读者、预算、风险偏好、资料完整性、使用场景等。让模型先列出假设,可以帮助人类发现错误前提、补充背景,并避免模型在不清楚的情况下过早给结论。
- 高风险任务中,错误可能带来真实损失,例如法律、医疗、财务、合同、企业制度和隐私安全。停止条件告诉模型在信息不足、资料缺失或无法确认时不要继续猜,而是列出缺失信息或请求人工判断。
Takeaway
与 LLM 协作的关键,是把它放进一个有目标、有标准、有反馈、有边界的流程里。模型负责加速,人类负责判断。方向盘别交出去,最多让它帮你看导航。