不规则测试

不稳定的测试会对同一段代码给出不同的结果。API 测试中常见的原因包括:时机不当(例如在异步任务完成之前进行断言)、测试之间共享状态、残留的先前运行数据、真实的网络调用、未经初始化的随机数据,以及对当前日期或时区的依赖。

工作原理

故障的诊断方法是:反复运行同一个提交,直到故障重现,然后比较两次运行之间的差异。修复方法是:消除变异源,例如:等待特定条件而非固定时间;为每个测试分配不同的数据;使用随机生成器;冻结时钟;以及用伪造的依赖项或可控的沙箱环境替换实际运行的依赖项。

误解

自动重试机制可以修复不稳定的测试。但重试掩盖了症状,却保留了根本原因;它还会掩盖产品中真正存在的间歇性错误——竞态条件看起来就像不稳定的测试。与其重试后置之不理,不如隔离并修复问题。

点击这里试试

POST /protocol/v1/jobs返回 202,并且每次轮询 GET /protocol/v1/jobs/{id}时任务都会继续执行——这是一个很好的练习,可以练习等待条件满足而不是直接休眠。每次运行之间重置沙箱,以防止状态泄漏。

资料来源

其他术语

阅读英文版

所有术语 · 测试技巧 · 全部 39 个模拟 REST API

最后更新时间