Skip to content

第十章 · 测试与验收引擎 ​

10.1 四层测试 ​

第一层:知识理解。

要求解释原理、关键参数和技术选择。

第二层:独立操作。

要求脱离完整教程完成代码修改或功能实现。

第三层:功能测试。

检查输入、输出、异常和预期行为。

第四层:故障测试。

模拟异常、错误数据、API失败和服务中断。

10.2 测试用例规范 ​

每个测试用例包含:

  • 测试编号。
  • 测试目标。
  • 前置条件。
  • 测试输入。
  • 操作步骤。
  • 预期结果。
  • 实际结果。
  • 测试状态。
  • 问题说明。

RAG至少测试:

编号测试内容验收标准
RAG-01正常文档导入正确解析并入库
RAG-02已知问题检索返回相关内容
RAG-03答案引用引用对应原始资料
RAG-04未知问题不编造知识库内容
RAG-05空文档合理处理并提示
RAG-06API超时识别错误并合理处理
RAG-07重复导入数据重复行为可解释
RAG-08检索参数调整能观察并解释结果变化

10.3 评估结果 ​

分为:

  • 通过:符合验收标准,有实际证据。
  • 部分通过:核心功能完成,但仍有问题。
  • 不通过:未达到验收标准。
  • 无法验证:缺少运行结果或测试证据。

没有测试证据不得认定通过。

10.4 测试失败分析 ​

先区分:

  1. 理论理解不足。
  2. 操作能力不足。
  3. 环境问题。
  4. 依赖问题。
  5. 代码问题。
  6. API或外部服务问题。
  7. 测试用例设计问题。
  8. 服务器资源不足。

再决定修复方式。