9.4政策、伦理与治理

先给直觉

AI 治理不是“给 AI 加一点道德感”。

更现实地说，它是在回答这些问题：

• 哪些场景可以用 AI？
• 哪些场景必须有人审核？
• 哪些数据不能进入模型？
• 哪些输出不能自动发布？
• 哪些用户需要被告知正在使用 AI？
• 出错时如何追踪原因？
• 谁有权修改 Prompt、模型和工具权限？

如果这些问题没有规则，AI 功能越强，组织越容易失控。

概念区分

政策

政策通常来自政府、监管机构、平台或企业内部制度。

它规定：

• 什么可以做。
• 什么不能做。
• 什么需要记录。
• 什么需要告知。
• 什么需要审核。

政策会变化。涉及法律、监管、平台规则时，课程只能讲框架，具体条款必须查最新来源。

伦理

伦理关注“应该不应该”。

例如：

• 是否应该用 AI 生成看似真人的声音？
• 是否应该让 AI 自动评价学生？
• 是否应该用用户聊天记录训练产品？
• 是否应该用模型判断求职者是否合适？

有些事情合法，也不一定合适。

合规

合规关注是否满足法律、行业规范、合同和平台要求。

例如：

• 数据保护要求。
• 未成年人保护要求。
• 内容审核要求。
• 版权要求。
• 医疗、金融、教育等行业限制。

合规不是课程里背法条，而是在做产品时知道需要查什么、问谁、留什么记录。

内部治理

内部治理是组织自己的 AI 使用规则。

包括：

• 哪些团队可以接入模型。
• 哪些数据可以上传。
• 哪些工具权限需要审批。
• 哪些场景必须人工复核。
• Prompt、模型、知识库如何版本管理。
• 事故如何记录和复盘。

内部治理是 AI 产品长期稳定运行的基础。

图：按错误后果与影响范围分级，决定治理投入：低风险省成本，高风险加护栏，危险场景不上线。

风险分级

不是所有 AI 功能风险都一样。

可以先按影响程度分级：

风险等级	场景	治理要求
低风险	文案润色、学习解释、个人笔记整理	提醒用户核对即可
中风险	客服建议、课程答疑、简历优化、数据分析辅助	需要来源、日志和人工抽查
高风险	医疗建议、金融决策、招聘筛选、法律判断、自动发布	需要严格审核、权限和责任人
禁止或极慎用	欺骗、冒充、违法、侵犯隐私、无授权声音或肖像使用	不应上线或必须走专门审查

风险分级的意义，是让产品规则和风险匹配。

低风险场景不必流程过重，高风险场景不能只靠“模型自己注意”。

数据治理

AI 治理首先是数据治理。

需要明确：

• 哪些数据可以进入模型。
• 哪些数据必须脱敏。
• 哪些数据不能保存。
• 哪些日志需要保留。
• 哪些数据可以用于评估。
• 哪些数据可以用于训练或微调。
• 用户是否需要同意。

课程产品中常见数据：

• 学员提问。
• 作业内容。
• 学习记录。
• 课程笔记。
• 上传截图。
• 语音或视频作业。

这些都可能包含个人信息。不能因为它们服务学习，就忽视边界。

模型治理

模型治理关注：

• 选用哪个模型。
• 为什么选它。
• 适合哪些任务。
• 不适合哪些任务。
• 模型版本变化如何记录。
• 输出质量如何评估。
• 失败时如何降级。

高变化信息，例如模型能力、价格、上下文长度、服务条款，必须查官方资料。

不要把一次测试结果当成永久结论。

Prompt 和工具权限治理

AI 应用真正的行为，往往由模型、Prompt、检索资料和工具权限共同决定。

治理要覆盖：

• 系统提示词谁能改。
• Prompt 修改是否需要评估。
• 工具权限如何申请。
• 高风险工具是否需要二次确认。
• 外部内容是否能触发工具调用。
• 工具调用是否记录审计日志。

如果 Agent 可以发邮件、查数据库、改文件，治理重点就不是“它会不会聊天”，而是“它能不能做出真实动作”。

人工审核

人工审核不是否定 AI，而是让风险可控。

需要人工审核的情况：

• 高风险建议。
• 对外发布内容。
• 涉及个人权益的判断。
• 涉及合同、法律、财务、医疗。
• 模型低置信度。
• 用户投诉或低评分。
• 新 Prompt 或新模型上线初期。

审核要有明确标准。否则人工审核会变成“看心情”。

告知与透明

用户应该知道：

• 哪些内容由 AI 生成或辅助生成。
• AI 输出可能出错。
• 数据如何被处理。
• 是否有人类审核。
• 如何反馈错误。

透明不是把技术细节倒给用户，而是给用户做判断所需的信息。

例如课程问答助手可以提示：

回答由 AI 根据课程资料生成，可能存在遗漏。重要结论请以课程原文和教师说明为准。

版权与内容责任

AI 内容生产要关注：

• 输入资料是否有使用权。
• 生成内容是否可能近似他人作品。
• 图片、声音、肖像是否有授权。
• 是否误导读者以为内容来自真人。
• 是否需要标注 AI 辅助。

课程和公众号内容尤其要谨慎。

不要让 AI 生成“看起来像某位在世作者”的文章，也不要未经授权克隆真人声音。

教育场景的特殊问题

AI 用在教育中，要特别注意：

• 学生是否真的理解，还是只复制答案。
• 评价是否公平。
• 学习数据是否被过度收集。
• AI 是否替代了必要反馈。
• 低龄学习者是否能理解 AI 的边界。
• 教师和机构是否知道工具如何影响学习结果。

课程产品可以使用 AI，但不能把学习责任全部交给 AI。

好的教育 AI 应该帮助学生练习、反馈、解释和复盘，而不是制造更隐蔽的代写。

治理清单

上线 AI 功能前，可以检查：

问题	检查
使用场景	是否明确属于低、中、高风险？
用户告知	是否说明 AI 参与和可能错误？
数据处理	是否说明收集、使用、保存和删除？
权限边界	模型能访问哪些资料和工具？
输出责任	哪些输出需要人工审核？
版本管理	Prompt、模型、知识库是否记录版本？
事故处理	出错后能否追踪、修复和通知？
事实核查	高变化信息是否查了最新来源？

案例：课程 AI 助教治理

假设课程产品上线 AI 助教。

功能：

• 回答课程问题。
• 批改练习。
• 推荐复习路径。
• 总结课程视频。

治理设计：

• 只允许访问本课程资料和公开说明。
• 学员个人数据不用于公开案例。
• 批改结果标注为辅助反馈，不作为最终成绩。
• 低分作业需要教师抽查。
• AI 回答必须引用课程材料。
• 新模型上线前跑固定测试集。
• 用户可以反馈错误回答。
• 日志保留周期和访问权限明确。

这比简单说“我们会负责任地使用 AI”更有用。

常见误区

误区 1：治理就是合规部门的事

AI 治理需要产品、技术、内容、运营和管理者共同参与。

误区 2：只要模型安全，产品就安全

产品风险还来自数据、权限、工具、用户场景和组织流程。

误区 3：所有 AI 输出都必须人工审核

低风险场景可以自动化，高风险场景要严格审核。关键是风险分级。

误区 4：免责声明可以解决所有问题

提示用户有风险很重要，但不能替代产品设计和责任管理。

误区 5：治理会拖慢创新

清楚的规则能减少返工和事故。没有规则的快，常常是把问题留到上线后爆。

动手练习

为一个 AI 功能做治理设计。

填写：

项目	内容
功能名称
使用场景
风险等级	低 / 中 / 高
涉及数据
用户是否需要告知
是否需要人工审核
工具权限
日志和版本记录
事故处理方式
需要核查的政策或平台规则