核心定义与成本边界
该主题指产品经理在预算约束下，对内部知识检索系统的生成质量进行量化评估的过程。其核心在于识别除API费用外的隐性成本，包括数据清洗、提示词迭代、失败重试及安全治理支出。只有厘清这些边界，才能准确计算真实的投入产出比。
- 成本包含订阅费、数据整理、提示词维护及人工复核
- 知识库问答依赖文档切分、向量检索与上下文注入
- 模型输出适合作为初稿，涉及事实需人工复核
质量评估关键维度
面向预算敏感场景，评估前需先确认目标与可验证指标。执行中应重点监控准确率、召回率及响应延迟，同时记录幻觉输出、数据外泄等风险信号。稳定的提示词模板需包含角色、任务、输入输出格式及禁止事项，以确保批量生产的一致性。
- 核对准确率、召回率与响应延迟等核心指标
- 记录幻觉输出、数据泄露及版权不清等风险
- 使用包含角色与规则的标准化提示词模板
实施步骤与风险控制
落地时需制定明确的人工复核流程，严禁将模型回答直接作为权威来源。特别是在医疗、法律或财务领域，必须保留人工审核环节以规避合规风险。通过设定适用条件与风险边界，确保在控制成本的同时维持业务安全。
- 确认目标约束后建立人工复核标准流程
- 涉及敏感内容必须保留人工最终审核权
- 明确不可把模型回答当作权威数据来源