LLMStart|持续课程 · 不追玄学
模块 8 · 8.1
进阶级65 分钟

8.1AI 产品设计基础

本课只解决一个主问题:本单元只解决一个主问题:

如何把 AI 能力设计成真实可用的产品功能,而不是一个看起来很聪明的 Demo?

学习目标

学完本单元后,学习者应该能够:

  • 区分 AI Demo 和 AI 产品。
  • 用任务、用户、数据、模型、评估和风险来设计 AI 功能。
  • 判断一个场景是否适合使用 AI。
  • 设计 AI 产品的基础用户流程和失败兜底。
  • 避免“为了 AI 而 AI”的产品设计。

先给直觉

AI Demo 的目标是让人觉得:

哇,它居然能做到。

AI 产品的目标是让用户觉得:

它稳定地帮我解决了问题。

这两句话差别很大。

Demo 可以容忍偶尔失败,因为观看者通常只看一次。

产品不行。用户每天用,错误会被放大;流程复杂,边界会暴露;成本、延迟、权限、日志、评估都会变成现实问题。

AI 产品设计的六个问题

设计 AI 功能前,先回答六个问题:

  1. 用户任务是什么?
  2. 为什么需要 AI?
  3. AI 输入是什么?
  4. AI 输出如何被使用?
  5. 错误会造成什么后果?
  6. 如何评估它是否真的有用?

如果这六个问题答不清,先别急着接模型。

用户任务,而不是模型能力

不要从“模型能做什么”开始。

要从用户任务开始:

  • 用户现在卡在哪里?
  • 原流程为什么低效?
  • 哪一步需要理解、生成、总结、检索或判断?
  • AI 输出会进入什么下一步?
  • 用户如何确认结果?

例子:

差设计:

我们给页面加一个 AI 总结按钮。

好设计:

客服每天要读很长的客户历史记录。AI 先总结关键问题、最近订单、未解决工单和建议回复,客服确认后再发送。

第二种设计里,AI 是服务具体任务,而不是装饰页面。

判断场景是否适合 AI

适合 AI 的任务通常有这些特点:

  • 输入信息复杂。
  • 需要自然语言理解或生成。
  • 人工处理耗时。
  • 输出允许人类审核。
  • 错误可以被发现和纠正。
  • 有足够资料或上下文。

不适合或要谨慎的任务:

  • 规则简单,传统程序更稳定。
  • 错误成本极高。
  • 没有可用数据。
  • 用户无法判断输出对错。
  • 需要强确定性。
  • 涉及敏感权限和不可逆操作。

不是所有产品都需要 AI。有时候一个筛选器、模板或规则引擎,比模型更便宜、更稳、更好维护。

AI 输入设计

AI 功能的质量很大程度取决于输入。

输入可能包括:

  • 用户问题。
  • 历史对话。
  • 文档资料。
  • 数据库记录。
  • 截图或图片。
  • 用户选择的目标。
  • 系统规则。
  • 权限信息。

产品设计要解决:

  • 哪些上下文自动带入?
  • 哪些由用户提供?
  • 哪些需要用户确认?
  • 哪些不能传给模型?
  • 输入太长时如何筛选?

如果输入混乱,模型输出通常也会混乱。模型不是保洁员,不能保证把所有上下文垃圾都分类回收。

AI 输出设计

AI 输出不是只显示一段文字。

要考虑:

  • 输出给谁看?
  • 是否需要编辑?
  • 是否需要引用?
  • 是否需要置信度或风险提示?
  • 是否能一键应用?
  • 应用前是否需要确认?
  • 输出失败时怎么办?

不同输出适合不同交互。

草稿型输出

例如邮件、文章、回复。

应该让用户编辑和确认。

建议型输出

例如推荐操作、风险提示。

应该说明理由和依据。

执行型输出

例如发邮件、建日程、改数据。

必须有确认、权限、日志和回滚。

失败兜底

AI 产品一定要设计失败状态。

常见失败:

  • 模型超时。
  • 工具调用失败。
  • 没有检索到资料。
  • 输出格式错误。
  • 结果不确定。
  • 用户问题超出范围。
  • 权限不足。

好的失败提示:

课程资料中没有找到足够信息。你可以换个问题,或提供相关资料。

差的失败提示:

出错了。

更差的是不提示,直接编一个答案。

人类确认与控制权

用户应该知道:

  • AI 做了什么。
  • AI 根据什么做。
  • 哪些内容需要确认。
  • 如何撤销或修改。

尤其是执行型功能,必须让用户保留控制权。

例子:

  • AI 可以起草邮件,但发送前确认。
  • AI 可以推荐删除重复文件,但删除前确认。
  • AI 可以生成课程大纲,但发布前审核。
  • AI 可以总结合同,但不能替用户签合同。

评估指标

AI 产品不能只看“能不能生成”。

要看:

  • 任务完成率。
  • 用户采纳率。
  • 编辑修改比例。
  • 事实错误率。
  • 引用准确率。
  • 平均延迟。
  • 单次成本。
  • 用户满意度。
  • 失败恢复率。

不同产品指标不同,但至少要能回答:

这个 AI 功能是否真的比原来更好?

成本与延迟

AI 产品的成本和延迟会影响体验。

设计时要考虑:

  • 是否所有请求都需要强模型。
  • 是否可以缓存。
  • 是否可以先返回草稿,再补充细节。
  • 是否可以异步处理。
  • 是否可以用小模型处理简单任务。
  • 是否需要模型路由。

一个功能如果每次要等 30 秒,用户可能只会体验一次,然后就把它归类为“很酷但不用”。

数据与隐私

AI 产品要明确:

  • 哪些数据会发送给模型。
  • 是否包含个人信息。
  • 是否包含企业敏感资料。
  • 是否需要脱敏。
  • 是否能用于日志和评估。
  • 是否需要用户授权。

不要默认“传给模型就完事”。对用户和企业来说,数据边界是产品信任的一部分。

案例:AI 课程学习助手

目标:

帮助学习者理解课程内容、找到下一步学习路径、生成练习题。

设计:

用户任务

  • 问课程概念。
  • 找相关课程。
  • 生成练习。
  • 复习薄弱点。

AI 输入

  • 用户问题。
  • 当前课程位置。
  • 已学单元。
  • RAG 检索到的课程片段。

AI 输出

  • 简明回答。
  • 引用课程来源。
  • 后续学习建议。
  • 练习题。

失败兜底

  • 资料不足时说明。
  • 引用缺失时不输出确定答案。
  • 高变化模型信息进入核查队列。

评估

  • 回答是否基于课程资料。
  • 学习者是否采纳建议。
  • 是否减少重复提问。
  • 是否产生错误解释。

常见误区

误区 1:接入模型就是 AI 产品

不是。模型只是能力来源,产品还需要任务、流程、数据、评估和兜底。

误区 2:AI 功能越多越好

功能多不等于价值大。AI 应该放在最能减少用户负担的位置。

误区 3:用户会自己判断 AI 对不对

不一定。产品要提供依据、引用、编辑和确认机制。

误区 4:Demo 效果好,上线就会好

真实用户、真实数据、真实错误会暴露更多问题。

误区 5:失败提示不重要

AI 产品的失败状态很重要。失败时是否诚实,决定用户是否继续信任它。

动手练习

选择一个你想做的 AI 功能,填写:

问题 你的答案
用户任务是什么?
为什么需要 AI?
输入有哪些?
输出如何被使用?
错误成本是什么?
是否需要引用?
是否需要人工确认?
失败时怎么提示?
如何评估是否有效?
检查题(自测)
  1. AI Demo 和 AI 产品的核心区别是什么?
  2. 为什么 AI 输出设计不能只考虑“生成一段文字”?
  3. 一个 AI 功能上线前至少应该设计哪些失败兜底?
参考答案
  1. Demo 只演示成功路径;产品要覆盖失败兜底、评估标准、权限、成本、日志和完整用户体验。
  2. 因为真实产品要处理输入边界、等待与失败状态、输出校验、人工介入点,不能只有"生成一段文字"。
  3. 至少设计:超时重试、降级方案、请求补充资料、转人工、保存状态与日志,保证失败时用户看到的是明确反馈而不是错误答案。

Takeaway

AI 产品设计不是把模型塞进界面,而是围绕用户任务设计输入、输出、控制、评估和失败兜底。真正有价值的 AI 功能,不是让用户惊呼一次,而是让用户愿意每天用。