阶段4(下):LangChain 1.x、提示词与注入防护、模型侧(路由/vLLM/LoRA)、AI 编程工具与验证、Dify/Coze 专题

This commit is contained in:
Shikui Wang committed 2026-10-23 16:15:33 +08:00
1 parent caaec830b3
commit 7a32d2c9a6
38 files changed
+3059 -67

No files matched your search

+101
View File
@@ -0,0 +1,101 @@
---
id: ai.ai-coding.verify-evidence
title: 验证 AI 产出:测试、审查清单、真实环境验证和会话记录作为作品证据
type: lesson
domain: ai
stack: [ai-coding]
tags: [AI 产出验证, 代码审查, 测试, 会话记录, 作品集, 脱敏]
level: intermediate
prerequisites: [ai.ai-coding.workflow-rules-skills]
est_hours: 2.5
related: [ai.ai-coding.scenario.ai-assisted-feature, devops.cicd.index, ai.ai-coding.interview]
week: [8, 15]
order: 2
---
# 验证 AI 产出:测试、审查清单、真实环境验证和会话记录作为作品证据
## 解释说明
**AI 写代码的速度很快,你的价值在于判断它对不对。** 面试官会追问“你怎么确认 AI 写的是对的”,回答“我看了一下”是不够的。
### 三层验证
| 层 | 做法 |
| --- | --- |
| 自动检查 | 测试(尤其是你自己补的边界测试)、类型检查、lint、CI |
| 人工审查 | 逐行读懂;按清单检查(见下表);不懂的地方查文档或让 AI 解释后自己验证 |
| 真实环境 | 在本地 / 测试环境真正跑一遍:调接口、看页面、看日志和数据库,而不只是跑单测 |
### AI 代码常见问题审查清单
| 类别 | 检查点 |
| --- | --- |
| 边界条件 | 空值、负数、超大值、并发、重复请求 |
| 过时 API | 使用了旧版本的写法(例如 LangChain 0.x、MCP SDK 1.x 的写法) |
| 编造 | 不存在的函数、参数、配置项、依赖包 |
| 安全 | SQL 拼接、未校验输入、日志打印敏感信息、硬编码密钥 |
| 错误处理 | 吞掉异常、只处理成功路径 |
| 测试质量 | 测试只验证了实现本身(同一个错误写进了实现和测试)、过度 mock |
| 范围 | 改了不该改的文件、顺手“重构”了无关代码 |
### 会话记录作为作品证据
部分岗位要求提交 AI 编程的会话记录或案例。建议每个项目保留 1~2 份**整理过的**记录:任务、给 AI 的上下文、计划、AI 出错的地方和你怎么发现的、验证结果、最终提交。**务必脱敏**:去掉公司名、内部系统名、内网地址、密钥、客户数据——用学习项目的记录最安全。
## 案例
优惠价格计算:AI 生成的代码和测试都“通过了”,但测试是 AI 自己写的,只覆盖了正常情况。人工补充了 4 个边界测试,发现“优惠券大于金额”时返回负数;修复后用 `verify.py` 生成验证记录,附在提交说明里;这个过程整理成会话记录,放进作品集的“AI 编程案例”。
## 代码示例
[examples/ai-workflow/verify.py](examples/ai-workflow/verify.py) 运行一组检查并生成验证记录:
```bash
python verify.py --task "新增优惠价格计算" --check "pytest -q sample" --out verification.md
```
生成的记录(节选):
```markdown
# 验证记录:新增优惠价格计算
- 时间:2026-10-23 16:12 CST
- 结论:通过
| 检查 | 退出码 | 耗时(秒) |
| --- | --- | --- |
| `pytest -q sample` | 0 | 0.54 |
## 人工审查要点
- 金额使用 Decimal,舍入方式与产品文档一致(四舍五入到分)
- 补充了“优惠券大于金额”的边界测试:AI 第一版在这里返回负数
```
人工补充的边界测试 [sample/test_pricing.py](examples/ai-workflow/sample/test_pricing.py):
```python
def test_coupon_larger_than_amount():
assert final_price(Decimal("5"), Decimal("10"), vip=True) == Decimal("0.00")
def test_negative_rejected():
with pytest.raises(ValueError):
final_price(Decimal("-1"), Decimal("0"), vip=False)
```
会话记录模板:[session-log-template.md](examples/ai-workflow/session-log-template.md)。
## 易错点
- 让 AI 同时写实现和测试,然后以“测试通过”作为证据。
- 只跑单元测试,从没在真实环境运行。
- 会话记录直接导出未脱敏的公司内容。
- 记录里只有“AI 帮我写了 xx”,没有你的判断和验证过程——这恰恰是面试官想看的。
## 面试常问
- 你怎么确认 AI 写的代码是对的?
- 讲一次 AI 写错、被你发现的经历。
- 用 AI 编程后,你的效率提升了多少?哪些地方帮不上忙?