Skip to content

10.4 开发者工作流:给一个模块补测试并挑毛病 ​

这一节覆盖什么 ​

接手一段不是自己写的代码,最该做的三件事:搞清楚它提供了什么、给它补上测试、看看有没有坑。这三件事机械、耗时,而且极其适合交给 agent——因为它跑不跑得过,pytest 会替你验证,不靠感觉。

这一节拿一个故意留了缺陷的小模块做演示:让 dsh 读代码、生成 pytest 用例、并列出问题清单。

最终效果:工作区里多出一个测试文件,外加一份能直接贴进 code review 的问题清单。

为什么值得复刻 ​

"让 AI 写测试"的演示通常停在"它生成了一堆用例"。真正的价值在另外两处:它会不会为了让测试好看而放宽断言,以及它能不能发现人写代码时知道、但忘了记的问题。这一节两件事都会看到具体结果。

本节用到的能力:

能力在哪学的在本节怎么用
命令执行与审批4.4、7.2它要跑 pytest,会弹审批卡片
后台任务4.8测试跑得久可以丢后台看实时输出
改动文件卡片3.2一轮结束只看它动了哪些文件
侧栏终端2.3自己开一个终端复跑它生成的测试

准备素材 ​

在工作区放一个 demo_project/string_utils.py,五个函数就够:normalize_spaces(连续空白压成一个空格并去首尾)、truncate(超长截断加省略号)、count_words(按空白分词计数)、is_palindrome(清洗后判回文)、slugify。

关键是 slugify 要留一个作者自己知道的缺陷:docstring 说"转成 URL 友好的 slug(小写、连字符分隔)",实现却只是 normalize_spaces(text).lower() 之后用空格 join,标点也不过滤。我们在源码注释里直接写明了这一点,模拟"代码里有 TODO 但没人回头修"的真实场景。

分步操作 ​

第一步:新建会话,权限给到工作区内修改 ​

工作区选到 demo_project 所在目录,权限工作区内修改(要写测试文件、要跑命令)。模型 glm-5.3-flash。

第二步:一条指令要三样东西 ​

text
请读取工作区 demo_project/string_utils.py,做三件事:
1. 梳理这个模块提供了哪些函数、各自用途;
2. 用 pytest 为它生成单元测试文件 demo_project/test_string_utils.py,覆盖正常输入与边界情况(包括空字符串、特殊字符、Unicode);
3. 指出代码里可能的问题,比如逻辑缺陷或边界遗漏。
把测试文件保存到工作区。不要使用 ask_user_question 工具向我提问,直接产出。

"指出可能的问题"这句别省。只让它写测试,它会挑好写的路径覆盖;要求它同时做审查,用例才会往边界和缺陷上靠。

粘贴指令

第三步:发送,注意审批卡片 ​

按 Enter 发出。它接下来要执行 pytest,这是命令执行,会弹审批卡片(4.4 节)。卡片上写的就是它真正要跑的那条命令,看不懂就先别放行。

发送后进入运行

第四步:看它生成的测试 ​

实测这一轮生成约 4.8 KB 的测试文件,它自报 41 个用例全部通过,覆盖:正常输入、空字符串、纯空白、制表/换行/不换行空格(\u00a0)、标点、中文与其他 Unicode(中文回文、中文截断)、truncate 的 max_len 恰好等于上限 / 1 / 0 / 负数。

值得注意的是一处判断:它专门写了"已知缺陷"用例,锁定 slugify 和 truncate 的现状行为,理由是"防止后续修复时无回归保护"。

这里有个真实的变化值得说:同一份模块、同一条指令,我们早先在旧版本上跑时,它选择的是 @pytest.mark.xfail(strict=True)——把缺陷用例标成预期失败,并说明"将来有人修好了代码,XFAIL 会变 XPASS 从而显式报错提醒更新"。这一次它换成了锁定现状。两种做法都成立,但含义不同:xfail 是"我知道这是错的,等谁修",锁定现状是"我先把今天的行为钉住"。所以别只看它生成了多少个用例,要看它对已知缺陷选了哪种策略——这决定了你以后修代码时会不会被测试挡住。

问题清单开头

第五步:看它挑出的问题 ​

这一节最实在的部分。它给了五条,前两条命中:

  1. slugify 未完成实现(最严重):只是 normalize_spaces + lower,输出仍用空格连接、不过滤非字母数字字符,slugify("Hello, World!") 返回 "hello, world!" 而不是 "hello-world"。并且它指出"代码注释里作者自己也标注了这一点"。建议改法:re.sub(r"[^\w\s-]", "", text) 之后把空白换成 -,并考虑 CJK 与重音字符的映射策略。
  2. truncate 对 max_len <= 0 无防御:给了具体例子——truncate("abc", 0) 返回 "ab…",长度 3,结果比上限还长;truncate("abc", -1) 返回 "a…",负数切片语义混乱。建议显式抛 ValueError 或钳制。
  3. truncate 按码点计数:省略号本身占一位;需要按字节或字素簇截断的场景会切坏组合字符和 emoji。
  4. is_palindrome 的清洗超出 docstring 语义:注释只说忽略"大小写与空白",实现却剔除了所有标点和符号,is_palindrome("Madam, I'm Adam.") 返回 True。它给的结论是"二选一:改文档或改实现",而不是自己替你定。
  5. 无输入类型校验:传 None 或非字符串会直接抛 AttributeError/TypeError,契约里没写。

问题清单中段

第 4 条是这类审查最有价值的地方:它没有擅自"修好",而是指出实现和文档不一致,把选择权留给你。

第六步:自己复跑一遍 ​

别信它自报的"41 个全部通过"。在右侧边栏开一个终端(2.3 节)自己跑:

sh
pytest demo_project/test_string_utils.py -v

这一步同时验证两件事:测试真的能跑,以及它有没有偷偷改弱断言。看到 xfail/skip 数量异常,回到文件里逐条看它标了什么。

第七步:把它改成可复用的动作 ​

跑通一次之后,让这套动作变成一句话:把"读模块 → 按函数分组生成用例 → 覆盖空值/边界/Unicode → 对已知缺陷选 xfail 或锁定并说明理由 → 输出问题清单"写进 .agents/skills/module-audit/SKILL.md(技能怎么写见 4.3 节)。以后接手任何一个小模块,一句"审一下这个模块"就出同一套东西。

Windows 上多出来的一步 ​

这一节在 Windows 上跑的时候遇到一件值得单独说的事:沙箱一开始写不进工作区,它没有硬试,而是走了 dsh 的 Windows ACL 诊断与修复,弹出审批卡片请求放行,然后把当前用户缺失的权限项补上,并在动手前把原始 DACL 备份到了工作区根下的 .acl-recovery/,报告里带着可执行的 ROLLBACK 命令。

两点要记住:一是修复范围只限你给的那个 allowRoot 目录,不会顺手改整块盘;二是看到这类审批卡片要停下来读——它请求的已经不是"跑个测试",而是改文件系统权限。我们这一节是在一个临时演示目录上放行的,换成你真实的项目目录,请先确认这确实是你要的。

常见问题 ​

问:它会不会为了测试通过而改被测代码?

这是最需要防的一种取巧。指令里明写"不要修改 string_utils.py,只新增测试文件",然后看改动文件卡片:只应出现 test_string_utils.py。源码也被改了,就是越界。

问:41 个用例是不是太多了?

数量本身没意义。看的是边界有没有真覆盖——空串、纯空白、max_len=0、Unicode 这几类在不在。缺了这些,20 个也比 41 个有用。

问:它能发现真正的逻辑 bug 吗?

这一节里它发现的三条(slugify 未完成、truncate 零负数、实现超出文档)都是真问题,但共同点是都有迹可循:注释里写着、边界一跑就露。埋得深的业务逻辑缺陷,它照样会漏。审查结论要自己过一遍。

问:跑测试要等很久怎么办?

丢后台任务(4.8 节),运行中那一行点开能看实时输出,收起即停流。

小结 ​

这一节把"接手代码的三件事"交给 agent 跑通了一遍:函数梳理、41 个覆盖边界的用例、五条问题清单,其中三条是真问题。两个必须自己做的动作是——自己复跑一次测试,以及看清它对已知缺陷选了哪种策略。前者防它报喜,后者防你三个月后被自己的测试挡住。

到这里,第 10 章四节都走完了。它们的共同点不是用了什么酷炫功能,而是同一套做法:把一次性的操作,变成下次一句话就能复用的东西。

发现错误?提交反馈 · 欢迎 提 PR 改进本书