LLMStart|持续课程 · 不追玄学
模块作业模块 4

设计一个 RAG 方案

模块 4 作业:设计一个 RAG 方案

背景

对应学习目标:解释为什么 LLM 需要 RAG;设计基础 RAG 流程;判断 RAG 系统常见失败原因。

这个作业让你把一个知识库场景,从头到尾设计成一份可讨论的 RAG 方案。

任务

  1. 选场景:挑一个"需要基于私有/实时资料回答问题"的场景(如公司制度问答、课程答疑、产品手册助手)。
  2. 设计链路:按离线链路(资料收集 → 清洗 → 切分 → 入库)与在线链路(问题 → 检索 → 组装 → 生成 → 引用)画出完整流程。
  3. 列出失败点:至少 5 个可能失败的地方(如没检索到正确资料、资料切分不合理、模型误读、引用不支持结论、资料不足硬答),每个给出一个对策。
  4. 做选型说明:说明为什么这个场景选 RAG 而不是微调或普通 Prompt,以及 RAG 不能解决的问题。

交付物

  • rag-design.md:方案文档(场景、链路、失败点与对策、选型说明)。

评分 Rubric

维度 优秀 合格 需改进
链路完整 离线+在线链路清楚,引用与评估在内 主链路清楚 链路跳跃
失败分析 5+ 个具体失败点且对策可落地 3 个以上 泛泛而谈
选型判断 说清 RAG 边界与替代方案 基本清楚 把 RAG 当万能解

建议用时

120 分钟。