LLMStart|持续课程 · 不追玄学
模块 3 · 3.3
入门到进阶55 分钟

3.3与 LLM 协作的方法

本课只解决一个主问题:本单元只解决一个主问题:

如何和 LLM 协作,才能得到更可靠、更有用的结果?

学习目标

学完本单元后,学习者应该能够:

  • 把 LLM 当作协作工具,而不是答案机器。
  • 学会向模型暴露任务背景、假设和判断标准。
  • 使用反馈、追问、对比和复盘改进输出。
  • 判断哪些任务适合交给模型,哪些必须由人类把关。
  • 建立“人负责判断,模型负责辅助”的协作原则。

先给直觉

很多人使用 LLM 的方式是:

我问一个问题。
模型给一个答案。
我复制走。

这很像把模型当作答案自动售货机。

更好的方式是把它当作一个能力很强、速度很快、但需要你管理任务边界的协作者。

你要做的不是“等它给完美答案”,而是:

  1. 交代任务。
  2. 给背景。
  3. 设标准。
  4. 看输出。
  5. 指出问题。
  6. 要求修改。
  7. 最后由你判断。

LLM 很适合参与过程,但不适合替你承担最终责任。

人机协作的基本分工

人类更应该负责

  • 定义目标。
  • 判断什么重要。
  • 提供真实背景。
  • 决定风险边界。
  • 审核事实和价值判断。
  • 对最终结果负责。

模型更适合负责

  • 快速生成初稿。
  • 改写和压缩表达。
  • 列出可能方案。
  • 总结长文档。
  • 生成练习题和示例。
  • 检查明显问题。
  • 按格式整理信息。

一句话:模型适合加速思考和生产,人类负责方向、判断和验收。

协作方法 1:先让模型暴露假设

当任务复杂时,不要急着让模型直接给答案。

可以先问:

在回答之前,请列出你需要做出的关键假设,并标出哪些假设可能影响结论。

适合场景:

  • 产品方案评估。
  • 学习路径设计。
  • 选型建议。
  • 商业分析。
  • 风险判断。

模型的回答往往依赖假设。把假设摆出来,才方便你纠正。

协作方法 2:先问问题再执行

当信息不足时,让模型先提问。

示例:

我想做一个 AI 课程产品。请先问我 8 个关键问题,不要直接给方案。

这能避免模型过早输出一套看似完整但实际不贴合的方案。

适合:

  • 需求分析。
  • 课程设计。
  • 内容定位。
  • 产品规划。
  • 咨询式任务。

协作方法 3:让模型给多个方案

不要总让模型给“一个最佳答案”。

更好的方式:

请给出 3 个方案:
1. 保守方案
2. 平衡方案
3. 激进方案

分别说明优点、风险、适用条件。

这个方法可以帮助你看到取舍。

很多真实问题不是“唯一正确答案”,而是“在约束下选一个可接受方案”。

协作方法 4:用 Rubric 反馈

低质量反馈:

不好,再改改。

高质量反馈:

请按以下问题修改:
1. 开头太抽象,换成具体场景。
2. 第三段用了术语,但没有解释。
3. 结尾缺少读者能带走的 takeaway。
4. 删除夸张表达,语气更克制。

模型不是不能改,是你要告诉它按什么标准改。

协作方法 5:让模型当审稿人

在写作、课程、产品方案中,可以让模型先做评审。

示例:

请以课程产品经理和 AI 专家的视角评审这节课。
只指出问题,不要重写。
重点检查:
- 学习目标是否清楚
- 技术解释是否准确
- 是否有跳步
- 是否有夸大表述
- 是否适合目标读者

这个方法适合发现盲点。

注意:模型评审不是最终事实核查,但能提高第一轮质量。

协作方法 6:把模型放进工作流

不要只把模型用于“最后生成”。

它可以参与多个阶段:

阶段 模型可以做什么 人类要把关什么
定义问题 列假设、问问题 目标和边界
收集资料 摘要、分类、提取 来源可靠性
形成方案 列选项、比较取舍 决策标准
生成内容 初稿、改写、格式化 事实和表达
检查质量 找漏洞、按 Rubric 打分 最终判断
复盘迭代 总结问题、生成改进清单 是否采纳

这比“最后让 AI 写一篇”更稳定。

协作方法 7:要求引用依据

涉及事实时,可以要求模型说明依据。

例如:

请把回答分成两列:
- 结论
- 依据

如果依据来自我提供的资料,请引用原文小标题。
如果没有依据,请标注“需要核查”。

这不能保证模型永远正确,但能让输出更容易检查。

协作方法 8:建立停止条件

有些任务模型不该继续猜。

可以明确:

如果信息不足,请停止并列出缺失信息,不要编造。

适合:

  • 法律
  • 医疗
  • 财务
  • 合同
  • 企业制度
  • 学术引用

模型最大的风险之一,是在应该停下来的地方继续说。

案例:用 LLM 设计课程单元

低质量用法:

帮我写一节 RAG 课程。

更好的协作流程:

  1. 让模型先问目标读者和课程定位。
  2. 让模型列出核心问题和容易误解的点。
  3. 让模型生成 3 种讲法。
  4. 人类选择主线。
  5. 模型写初稿。
  6. 模型按质量表自检。
  7. 人类检查技术事实和表达。
  8. 模型根据反馈重写。

这样模型参与了多个环节,但课程判断仍然在人类手里。

常见误区

误区 1:模型输出不好,就是模型不行

也可能是目标、背景、标准和反馈不清楚。

误区 2:模型很强,所以可以直接替我决策

模型可以辅助决策,但不能替你承担责任。

误区 3:多问几次总会得到真相

多次生成可以看到不同角度,但不能替代事实核查。

误区 4:人机协作就是让模型写,人类润色

更好的协作是让模型参与分析、比较、检查和复盘,而不只是写初稿。

动手练习

选择一个你最近要做的任务,设计一个 5 步人机协作流程。

要求:

  1. 写出任务目标。
  2. 标出哪些环节让模型做。
  3. 标出哪些环节必须由你判断。
  4. 设计一个 Rubric。
  5. 写出停止条件:什么时候模型应该说“不够信息”。
检查题(自测)
  1. 为什么说 LLM 更适合作为协作者,而不是答案机器?
  2. 让模型暴露假设有什么价值?
  3. 在高风险任务中,为什么要设置停止条件?
参考答案
  1. LLM 很适合快速生成、总结、改写、列方案和检查明显问题,但它不应该替人类承担目标判断、事实核查、风险边界和最终责任。把它当答案机器,容易直接复制错误内容;把它当协作者,则会把它放进一个有目标、有反馈、有审核的流程里。
  2. 模型的回答常常依赖隐含假设,例如目标读者、预算、风险偏好、资料完整性、使用场景等。让模型先列出假设,可以帮助人类发现错误前提、补充背景,并避免模型在不清楚的情况下过早给结论。
  3. 高风险任务中,错误可能带来真实损失,例如法律、医疗、财务、合同、企业制度和隐私安全。停止条件告诉模型在信息不足、资料缺失或无法确认时不要继续猜,而是列出缺失信息或请求人工判断。

Takeaway

与 LLM 协作的关键,是把它放进一个有目标、有标准、有反馈、有边界的流程里。模型负责加速,人类负责判断。方向盘别交出去,最多让它帮你看导航。