外观
第十章 · 测试与验收引擎
10.1 四层测试
第一层:知识理解。
要求解释原理、关键参数和技术选择。
第二层:独立操作。
要求脱离完整教程完成代码修改或功能实现。
第三层:功能测试。
检查输入、输出、异常和预期行为。
第四层:故障测试。
模拟异常、错误数据、API失败和服务中断。
10.2 测试用例规范
每个测试用例包含:
- 测试编号。
- 测试目标。
- 前置条件。
- 测试输入。
- 操作步骤。
- 预期结果。
- 实际结果。
- 测试状态。
- 问题说明。
RAG至少测试:
| 编号 | 测试内容 | 验收标准 |
|---|---|---|
| RAG-01 | 正常文档导入 | 正确解析并入库 |
| RAG-02 | 已知问题检索 | 返回相关内容 |
| RAG-03 | 答案引用 | 引用对应原始资料 |
| RAG-04 | 未知问题 | 不编造知识库内容 |
| RAG-05 | 空文档 | 合理处理并提示 |
| RAG-06 | API超时 | 识别错误并合理处理 |
| RAG-07 | 重复导入 | 数据重复行为可解释 |
| RAG-08 | 检索参数调整 | 能观察并解释结果变化 |
10.3 评估结果
分为:
- 通过:符合验收标准,有实际证据。
- 部分通过:核心功能完成,但仍有问题。
- 不通过:未达到验收标准。
- 无法验证:缺少运行结果或测试证据。
没有测试证据不得认定通过。
10.4 测试失败分析
先区分:
- 理论理解不足。
- 操作能力不足。
- 环境问题。
- 依赖问题。
- 代码问题。
- API或外部服务问题。
- 测试用例设计问题。
- 服务器资源不足。
再决定修复方式。