阶段2(上):后端专题 Go/Gin/PostgreSQL/MySQL/Redis/MQ/gRPC 的课程、企业场景、面试题和可运行示例
This commit is contained in:
1 parent
0bae9916a9
commit
5eb67c5d08
65 files changed
+6457
-77
No files matched your search
@@ -0,0 +1,109 @@
|
||||
---
|
||||
id: backend.postgresql.schema-sql
|
||||
title: 表设计和 SQL:约束、JOIN、CTE、窗口函数、JSONB、UPSERT
|
||||
type: lesson
|
||||
domain: backend
|
||||
stack: [postgresql]
|
||||
tags: [SQL, 表设计, 约束, JOIN, 窗口函数, JSONB]
|
||||
level: basic
|
||||
est_hours: 4
|
||||
related: [backend.postgresql.index-tx-mvcc, backend.postgresql.interview]
|
||||
week: [2]
|
||||
order: 1
|
||||
---
|
||||
|
||||
# 表设计和 SQL:约束、JOIN、CTE、窗口函数、JSONB、UPSERT
|
||||
|
||||
## 解释说明
|
||||
|
||||
**表设计的基本功**
|
||||
|
||||
- **主键**:一般用 `BIGINT GENERATED ALWAYS AS IDENTITY`(自增)或 UUID。对外暴露的 ID 用 UUID 或随机字符串可以避免被遍历。
|
||||
- **约束是最后一道防线**:`NOT NULL`、`UNIQUE`、`CHECK (amount > 0)`、外键 `REFERENCES`。应用代码有 bug 时,数据库约束能挡住脏数据。
|
||||
- **范式和反范式**:一般按第三范式拆表(一个事实只存一处);为了查询性能可以有意冗余(例如订单里冗余商品名称快照),但要清楚冗余字段谁负责更新。
|
||||
- **时间**:用 `TIMESTAMPTZ`(带时区)存时间,统一存 UTC,展示时再转换。
|
||||
- **金额**:用 `NUMERIC(12,2)` 或以“分”为单位的整数,**不要用浮点数**。
|
||||
|
||||
**常用 SQL**
|
||||
|
||||
- `JOIN`:内连接只保留两边都有的行;左连接保留左表全部行,右边没有就是 NULL。
|
||||
- `GROUP BY` + 聚合函数;`HAVING` 过滤分组后的结果。
|
||||
- **CTE**(`WITH ... AS`):把复杂查询拆成几步,可读性好。
|
||||
- **窗口函数**:`ROW_NUMBER() OVER (PARTITION BY 用户 ORDER BY 时间 DESC)` 不合并行就能做“每组取前 N 条”、排名、累计。
|
||||
- **UPSERT**:`INSERT ... ON CONFLICT (键) DO UPDATE` 一条语句完成“有则更新、无则插入”,并发下也安全(依赖唯一约束)。
|
||||
- **RETURNING**:插入、更新后直接返回新值,省一次查询。
|
||||
- **JSONB**:存半结构化数据(如商品的可变属性),支持索引(GIN)和查询运算符 `->>`、`@>`。结构稳定、经常查询的字段还是建成普通列。
|
||||
|
||||
## 案例
|
||||
|
||||
电商后台的“每个用户最近 3 笔订单”“按月统计各渠道销售额”“商品扩展属性”都是上面这些语法的典型用途。下面用一个最小的订单库演示。
|
||||
|
||||
## 代码示例
|
||||
|
||||
```sql
|
||||
-- 建表:约束写全
|
||||
CREATE TABLE users (
|
||||
id BIGINT GENERATED ALWAYS AS IDENTITY PRIMARY KEY,
|
||||
email TEXT NOT NULL UNIQUE,
|
||||
created_at TIMESTAMPTZ NOT NULL DEFAULT now()
|
||||
);
|
||||
|
||||
CREATE TABLE orders (
|
||||
id BIGINT GENERATED ALWAYS AS IDENTITY PRIMARY KEY,
|
||||
user_id BIGINT NOT NULL REFERENCES users(id) ON DELETE RESTRICT,
|
||||
channel TEXT NOT NULL CHECK (channel IN ('web', 'app', 'mini')),
|
||||
amount NUMERIC(12, 2) NOT NULL CHECK (amount > 0),
|
||||
attrs JSONB NOT NULL DEFAULT '{}',
|
||||
created_at TIMESTAMPTZ NOT NULL DEFAULT now()
|
||||
);
|
||||
|
||||
INSERT INTO users (email) VALUES ('a@example.com'), ('b@example.com');
|
||||
INSERT INTO orders (user_id, channel, amount, attrs, created_at) VALUES
|
||||
(1, 'web', 99.00, '{"coupon": "NEW10"}', now() - interval '3 day'),
|
||||
(1, 'app', 25.50, '{}', now() - interval '2 day'),
|
||||
(1, 'app', 300.00, '{"gift": true}', now() - interval '1 day'),
|
||||
(1, 'web', 12.00, '{}', now()),
|
||||
(2, 'mini', 45.00, '{"coupon": "VIP"}', now());
|
||||
|
||||
-- 1. 每个用户最近 3 笔订单(窗口函数)
|
||||
SELECT * FROM (
|
||||
SELECT o.*, ROW_NUMBER() OVER (PARTITION BY user_id ORDER BY created_at DESC) AS rn
|
||||
FROM orders o
|
||||
) t WHERE rn <= 3;
|
||||
|
||||
-- 2. 按渠道统计,只看销售额超过 50 的渠道(GROUP BY + HAVING)
|
||||
SELECT channel, count(*) AS cnt, sum(amount) AS total
|
||||
FROM orders GROUP BY channel HAVING sum(amount) > 50 ORDER BY total DESC;
|
||||
|
||||
-- 3. CTE:先算每个用户的消费总额,再关联用户表
|
||||
WITH spend AS (
|
||||
SELECT user_id, sum(amount) AS total FROM orders GROUP BY user_id
|
||||
)
|
||||
SELECT u.email, COALESCE(s.total, 0) AS total
|
||||
FROM users u LEFT JOIN spend s ON s.user_id = u.id;
|
||||
|
||||
-- 4. JSONB 查询:用了优惠券的订单
|
||||
SELECT id, attrs->>'coupon' AS coupon FROM orders WHERE attrs ? 'coupon';
|
||||
|
||||
-- 5. UPSERT:每日统计表,重复执行不会出错
|
||||
CREATE TABLE daily_sales (day DATE PRIMARY KEY, total NUMERIC(12, 2) NOT NULL);
|
||||
INSERT INTO daily_sales (day, total)
|
||||
SELECT created_at::date, sum(amount) FROM orders GROUP BY 1
|
||||
ON CONFLICT (day) DO UPDATE SET total = EXCLUDED.total
|
||||
RETURNING *;
|
||||
```
|
||||
|
||||
运行:`docker run -d --name pg -e POSTGRES_PASSWORD=pg -p 5432:5432 postgres:17`,然后 `psql -h localhost -U postgres` 粘贴执行。
|
||||
|
||||
## 易错点
|
||||
|
||||
- **`NOT IN` 遇到 NULL**:`x NOT IN (子查询)` 只要子查询结果里有一个 NULL,整个条件就不成立,结果为空;改用 `NOT EXISTS`。
|
||||
- **`count(列)` 不统计 NULL**,`count(*)` 统计所有行。
|
||||
- **浮点数存金额**:`0.1 + 0.2` 的精度问题会出现在账目里。
|
||||
- **LEFT JOIN 后在 WHERE 里过滤右表**:会把左连接变回内连接,右表的条件要写在 `ON` 里。
|
||||
- **先查再插判断唯一**:并发时两个请求都查不到、都插入成功;用唯一约束 + `ON CONFLICT`。
|
||||
- **JSONB 什么都往里放**:失去约束和类型检查,查询也难优化。
|
||||
|
||||
## 面试常问
|
||||
|
||||
见 [PostgreSQL 面试题](interview.md):范式、`NOT IN` 和 NULL、UPSERT 的并发安全、JSONB 的使用场景。
|
||||
@@ -0,0 +1,111 @@
|
||||
---
|
||||
id: backend.postgresql.index-tx-mvcc
|
||||
title: 索引、EXPLAIN、事务、隔离级别和 MVCC
|
||||
type: lesson
|
||||
domain: backend
|
||||
stack: [postgresql]
|
||||
tags: [索引, EXPLAIN, 事务, 隔离级别, MVCC, 锁]
|
||||
level: intermediate
|
||||
prerequisites: [backend.postgresql.schema-sql]
|
||||
est_hours: 4
|
||||
related: [backend.postgresql.scenario.order-state-audit, backend.mysql.tx-locks-mvcc, backend.postgresql.interview]
|
||||
week: [2, 3]
|
||||
order: 2
|
||||
---
|
||||
|
||||
# 索引、EXPLAIN、事务、隔离级别和 MVCC
|
||||
|
||||
## 解释说明
|
||||
|
||||
**索引**
|
||||
|
||||
- 默认是 **B-tree**,支持等值、范围、排序。其他类型:**GIN**(JSONB、数组、全文检索)、**GiST**(地理位置、范围类型)、**BRIN**(按时间顺序写入的超大表)、pgvector 的 HNSW / IVFFlat(向量)。
|
||||
- **联合索引**按列顺序排序,查询条件要从最左列开始用(和 MySQL 一样)。
|
||||
- **部分索引**:`CREATE INDEX ... WHERE status = 'pending'`,只索引需要的行,体积小。
|
||||
- **表达式索引**:`CREATE INDEX ON users (lower(email))`,查询时用同样的表达式才能命中。
|
||||
- **覆盖索引**:`INCLUDE (列)` 把额外列放进索引叶子,查询可以只扫索引(Index Only Scan)。
|
||||
- 线上建索引用 `CREATE INDEX CONCURRENTLY`,不阻塞写入(不能放在事务里执行)。
|
||||
|
||||
**EXPLAIN**
|
||||
|
||||
- `EXPLAIN` 看计划,`EXPLAIN ANALYZE` 真正执行并给出实际耗时和行数(对写语句要小心,会真的执行)。
|
||||
- 关注:`Seq Scan`(全表扫描)、`Index Scan` / `Index Only Scan`、`Bitmap Heap Scan`;预估行数(rows)和实际行数差很多时,说明统计信息过时,执行 `ANALYZE 表名`。
|
||||
|
||||
**事务和隔离级别**
|
||||
|
||||
- PostgreSQL 默认 **读已提交(Read Committed)**:每条语句看到语句开始时已提交的数据,所以同一事务里两次查询结果可能不同。
|
||||
- **可重复读(Repeatable Read)**:整个事务看到的是第一条语句开始时的快照;如果要修改的行已被别的事务改过,会报序列化错误,应用要重试。
|
||||
- **可串行化(Serializable)**:最严格,检测到可能的冲突时让事务失败,应用必须有重试逻辑。
|
||||
|
||||
**MVCC**
|
||||
|
||||
- 每次更新不是原地修改,而是写一个新版本的行,旧版本对还在用旧快照的事务仍然可见。所以读不阻塞写、写不阻塞读。
|
||||
- 代价:旧版本(死元组)需要 **VACUUM** 清理(通常由 autovacuum 自动完成);长时间不结束的事务会让旧版本无法清理,导致表膨胀。
|
||||
|
||||
**锁**
|
||||
|
||||
- `SELECT ... FOR UPDATE` 锁住选中的行,其他事务要修改或也想加锁时会等待;`FOR UPDATE SKIP LOCKED` 跳过已被锁的行——常用来实现“多个 worker 从任务表取任务”。
|
||||
- 乐观锁:表里加 `version` 列,`UPDATE ... SET version = version + 1 WHERE id = ? AND version = ?`,影响行数为 0 就是被别人改过了。
|
||||
|
||||
## 案例
|
||||
|
||||
- 订单列表按“用户 + 状态 + 时间”查询,建联合索引 `(user_id, status, created_at DESC)`。
|
||||
- 后台任务表多个 worker 并发取任务:`SELECT id FROM jobs WHERE status = 'queued' ORDER BY id LIMIT 10 FOR UPDATE SKIP LOCKED`,互不阻塞、不会重复领取。
|
||||
- 订单状态修改用乐观锁,避免“用户取消”和“支付回调”同时修改导致状态错乱(见场景文档)。
|
||||
|
||||
## 代码示例
|
||||
|
||||
```sql
|
||||
CREATE TABLE jobs (
|
||||
id BIGINT GENERATED ALWAYS AS IDENTITY PRIMARY KEY,
|
||||
user_id BIGINT NOT NULL,
|
||||
status TEXT NOT NULL DEFAULT 'queued',
|
||||
payload JSONB NOT NULL DEFAULT '{}',
|
||||
created_at TIMESTAMPTZ NOT NULL DEFAULT now()
|
||||
);
|
||||
INSERT INTO jobs (user_id, status, created_at)
|
||||
SELECT (random() * 1000)::int, (ARRAY['queued', 'running', 'done'])[1 + (random() * 2)::int],
|
||||
now() - (random() * interval '30 day')
|
||||
FROM generate_series(1, 50000);
|
||||
|
||||
CREATE INDEX jobs_user_status_time ON jobs (user_id, status, created_at DESC);
|
||||
CREATE INDEX jobs_queued ON jobs (id) WHERE status = 'queued'; -- 部分索引
|
||||
ANALYZE jobs;
|
||||
|
||||
-- 命中联合索引
|
||||
EXPLAIN ANALYZE SELECT * FROM jobs WHERE user_id = 42 AND status = 'done' ORDER BY created_at DESC LIMIT 20;
|
||||
-- 只按 status 查:不满足最左前缀,通常是 Seq Scan(数据分布不同,计划可能不同)
|
||||
EXPLAIN SELECT * FROM jobs WHERE status = 'done';
|
||||
|
||||
-- 多个 worker 取任务:在两个 psql 窗口里同时执行,互不阻塞、拿到不同的任务
|
||||
BEGIN;
|
||||
SELECT id FROM jobs WHERE status = 'queued' ORDER BY id LIMIT 5 FOR UPDATE SKIP LOCKED;
|
||||
-- ……处理任务,然后:UPDATE jobs SET status = 'running' WHERE id IN (...);
|
||||
COMMIT;
|
||||
```
|
||||
|
||||
隔离级别的对比实验(两个 psql 窗口 A、B):
|
||||
|
||||
```sql
|
||||
-- A
|
||||
BEGIN ISOLATION LEVEL REPEATABLE READ;
|
||||
SELECT count(*) FROM jobs WHERE status = 'queued';
|
||||
-- B(自动提交)
|
||||
UPDATE jobs SET status = 'done' WHERE id = (SELECT min(id) FROM jobs WHERE status = 'queued');
|
||||
-- A:结果不变(快照);如果把 A 改成默认的 READ COMMITTED,结果会变
|
||||
SELECT count(*) FROM jobs WHERE status = 'queued';
|
||||
COMMIT;
|
||||
```
|
||||
|
||||
## 易错点
|
||||
|
||||
- **索引列上用函数或类型转换**:`WHERE date(created_at) = '2026-10-01'` 用不上 `created_at` 的索引,改成范围条件 `created_at >= ... AND created_at < ...`。
|
||||
- **`LIKE '%关键词%'`** 用不上 B-tree 索引,需要 `pg_trgm` 的 GIN 索引或全文检索。
|
||||
- **索引越多越好**:每个索引都会拖慢写入、占用空间、增加 VACUUM 工作量。
|
||||
- **长事务**:事务里调用外部接口、等待用户输入,会长时间持有锁和旧快照。事务要短。
|
||||
- **可重复读 / 可串行化不写重试**:序列化失败(SQLSTATE 40001)是正常现象,应用必须捕获并重试。
|
||||
- **`CREATE INDEX CONCURRENTLY` 失败**会留下无效索引(INVALID),要删掉重建。
|
||||
|
||||
## 面试常问
|
||||
|
||||
见 [PostgreSQL 面试题](interview.md):MVCC 和 VACUUM、隔离级别的默认值、`SKIP LOCKED` 的用途、乐观锁和悲观锁。
|
||||
@@ -0,0 +1,13 @@
|
||||
module example/orderstate
|
||||
|
||||
go 1.25.0
|
||||
|
||||
require github.com/jackc/pgx/v5 v5.11.0
|
||||
|
||||
require (
|
||||
github.com/jackc/pgpassfile v1.0.0 // indirect
|
||||
github.com/jackc/pgservicefile v0.0.0-20240606120523-5a60cdf6a761 // indirect
|
||||
github.com/jackc/puddle/v2 v2.2.2 // indirect
|
||||
golang.org/x/sync v0.17.0 // indirect
|
||||
golang.org/x/text v0.29.0 // indirect
|
||||
)
|
||||
@@ -0,0 +1,26 @@
|
||||
github.com/davecgh/go-spew v1.1.0/go.mod h1:J7Y8YcW2NihsgmVo/mv3lAwl/skON4iLHjSsI+c5H38=
|
||||
github.com/davecgh/go-spew v1.1.1 h1:vj9j/u1bqnvCEfJOwUhtlOARqs3+rkHYY13jYWTU97c=
|
||||
github.com/davecgh/go-spew v1.1.1/go.mod h1:J7Y8YcW2NihsgmVo/mv3lAwl/skON4iLHjSsI+c5H38=
|
||||
github.com/jackc/pgpassfile v1.0.0 h1:/6Hmqy13Ss2zCq62VdNG8tM1wchn8zjSGOBJ6icpsIM=
|
||||
github.com/jackc/pgpassfile v1.0.0/go.mod h1:CEx0iS5ambNFdcRtxPj5JhEz+xB6uRky5eyVu/W2HEg=
|
||||
github.com/jackc/pgservicefile v0.0.0-20240606120523-5a60cdf6a761 h1:iCEnooe7UlwOQYpKFhBabPMi4aNAfoODPEFNiAnClxo=
|
||||
github.com/jackc/pgservicefile v0.0.0-20240606120523-5a60cdf6a761/go.mod h1:5TJZWKEWniPve33vlWYSoGYefn3gLQRzjfDlhSJ9ZKM=
|
||||
github.com/jackc/pgx/v5 v5.11.0 h1:IzBBtyK9AHqf98cctWFifYSci2hgQR/cd56wB4p+ogg=
|
||||
github.com/jackc/pgx/v5 v5.11.0/go.mod h1:mal1tBGAFfLHvZzaYh77YS/eC6IX9OWbRV1QIIM0Jn4=
|
||||
github.com/jackc/puddle/v2 v2.2.2 h1:PR8nw+E/1w0GLuRFSmiioY6UooMp6KJv0/61nB7icHo=
|
||||
github.com/jackc/puddle/v2 v2.2.2/go.mod h1:vriiEXHvEE654aYKXXjOvZM39qJ0q+azkZFrfEOc3H4=
|
||||
github.com/pmezard/go-difflib v1.0.0 h1:4DBwDE0NGyQoBHbLQYPwSUPoCMWR5BEzIk/f1lZbAQM=
|
||||
github.com/pmezard/go-difflib v1.0.0/go.mod h1:iKH77koFhYxTK1pcRnkKkqfTogsbg7gZNVY4sRDYZ/4=
|
||||
github.com/stretchr/objx v0.1.0/go.mod h1:HFkY916IF+rwdDfMAkV7OtwuqBVzrE8GR6GFx+wExME=
|
||||
github.com/stretchr/testify v1.3.0/go.mod h1:M5WIy9Dh21IEIfnGCwXGc5bZfKNJtfHm1UVUgZn+9EI=
|
||||
github.com/stretchr/testify v1.7.0/go.mod h1:6Fq8oRcR53rry900zMqJjRRixrwX3KX962/h/Wwjteg=
|
||||
github.com/stretchr/testify v1.11.1 h1:7s2iGBzp5EwR7/aIZr8ao5+dra3wiQyKjjFuvgVKu7U=
|
||||
github.com/stretchr/testify v1.11.1/go.mod h1:wZwfW3scLgRK+23gO65QZefKpKQRnfz6sD981Nm4B6U=
|
||||
golang.org/x/sync v0.17.0 h1:l60nONMj9l5drqw6jlhIELNv9I0A4OFgRsG9k2oT9Ug=
|
||||
golang.org/x/sync v0.17.0/go.mod h1:9KTHXmSnoGruLpwFjVSX0lNNA75CykiMECbovNTZqGI=
|
||||
golang.org/x/text v0.29.0 h1:1neNs90w9YzJ9BocxfsQNHKuAT4pkghyXc4nhZ6sJvk=
|
||||
golang.org/x/text v0.29.0/go.mod h1:7MhJOA9CD2qZyOKYazxdYMF85OwPdEr9jTtBpO7ydH4=
|
||||
gopkg.in/check.v1 v0.0.0-20161208181325-20d25e280405/go.mod h1:Co6ibVJAznAaIkqp8huTwlJQCZ016jof/cbN4VW5Yz0=
|
||||
gopkg.in/yaml.v3 v3.0.0-20200313102051-9f266ea9e77c/go.mod h1:K4uyk7z7BCEPqu6E+C64Yfv1cQ7kz7rIZviUmN+EgEM=
|
||||
gopkg.in/yaml.v3 v3.0.1 h1:fxVm/GzAzEWqLHuvctI91KS9hhNmmWOoWu0XTYJS7CA=
|
||||
gopkg.in/yaml.v3 v3.0.1/go.mod h1:K4uyk7z7BCEPqu6E+C64Yfv1cQ7kz7rIZviUmN+EgEM=
|
||||
@@ -0,0 +1,97 @@
|
||||
// Package orderstate 订单状态机:合法流转校验 + 乐观锁 + 审计日志(与状态修改在同一个事务里提交)。
|
||||
package orderstate
|
||||
|
||||
import (
|
||||
"context"
|
||||
"errors"
|
||||
"fmt"
|
||||
|
||||
"github.com/jackc/pgx/v5"
|
||||
"github.com/jackc/pgx/v5/pgxpool"
|
||||
)
|
||||
|
||||
const Schema = `
|
||||
CREATE TABLE IF NOT EXISTS orders (
|
||||
id BIGINT GENERATED ALWAYS AS IDENTITY PRIMARY KEY,
|
||||
status TEXT NOT NULL DEFAULT 'pending',
|
||||
version INT NOT NULL DEFAULT 1,
|
||||
updated_at TIMESTAMPTZ NOT NULL DEFAULT now()
|
||||
);
|
||||
CREATE TABLE IF NOT EXISTS order_events (
|
||||
id BIGINT GENERATED ALWAYS AS IDENTITY PRIMARY KEY,
|
||||
order_id BIGINT NOT NULL REFERENCES orders(id),
|
||||
from_status TEXT NOT NULL,
|
||||
to_status TEXT NOT NULL,
|
||||
actor TEXT NOT NULL,
|
||||
reason TEXT NOT NULL DEFAULT '',
|
||||
created_at TIMESTAMPTZ NOT NULL DEFAULT now()
|
||||
);`
|
||||
|
||||
// 允许的状态流转:只有这里列出的才合法
|
||||
var transitions = map[string][]string{
|
||||
"pending": {"paid", "cancelled"},
|
||||
"paid": {"shipped", "refunding"},
|
||||
"shipped": {"completed"},
|
||||
"refunding": {"refunded", "paid"},
|
||||
}
|
||||
|
||||
var (
|
||||
ErrIllegal = errors.New("不允许的状态流转")
|
||||
ErrConflict = errors.New("订单已被其他操作修改,请刷新后重试")
|
||||
ErrNotFound = errors.New("订单不存在")
|
||||
)
|
||||
|
||||
func allowed(from, to string) bool {
|
||||
for _, s := range transitions[from] {
|
||||
if s == to {
|
||||
return true
|
||||
}
|
||||
}
|
||||
return false
|
||||
}
|
||||
|
||||
type Order struct {
|
||||
ID int64
|
||||
Status string
|
||||
Version int
|
||||
}
|
||||
|
||||
func Get(ctx context.Context, db *pgxpool.Pool, id int64) (Order, error) {
|
||||
var o Order
|
||||
err := db.QueryRow(ctx, `SELECT id, status, version FROM orders WHERE id = $1`, id).Scan(&o.ID, &o.Status, &o.Version)
|
||||
if errors.Is(err, pgx.ErrNoRows) {
|
||||
return o, ErrNotFound
|
||||
}
|
||||
return o, err
|
||||
}
|
||||
|
||||
// Transition 把订单从 cur 状态改成 to。cur 是调用方读到的版本(乐观锁)。
|
||||
func Transition(ctx context.Context, db *pgxpool.Pool, cur Order, to, actor, reason string) (Order, error) {
|
||||
if !allowed(cur.Status, to) {
|
||||
return cur, fmt.Errorf("%s -> %s: %w", cur.Status, to, ErrIllegal)
|
||||
}
|
||||
tx, err := db.Begin(ctx)
|
||||
if err != nil {
|
||||
return cur, err
|
||||
}
|
||||
defer tx.Rollback(ctx) // 提交成功后再回滚是无害的
|
||||
|
||||
tag, err := tx.Exec(ctx,
|
||||
`UPDATE orders SET status = $1, version = version + 1, updated_at = now()
|
||||
WHERE id = $2 AND status = $3 AND version = $4`, to, cur.ID, cur.Status, cur.Version)
|
||||
if err != nil {
|
||||
return cur, err
|
||||
}
|
||||
if tag.RowsAffected() == 0 {
|
||||
return cur, ErrConflict
|
||||
}
|
||||
if _, err := tx.Exec(ctx,
|
||||
`INSERT INTO order_events (order_id, from_status, to_status, actor, reason) VALUES ($1, $2, $3, $4, $5)`,
|
||||
cur.ID, cur.Status, to, actor, reason); err != nil {
|
||||
return cur, err
|
||||
}
|
||||
if err := tx.Commit(ctx); err != nil {
|
||||
return cur, err
|
||||
}
|
||||
return Order{ID: cur.ID, Status: to, Version: cur.Version + 1}, nil
|
||||
}
|
||||
@@ -0,0 +1,119 @@
|
||||
package orderstate
|
||||
|
||||
import (
|
||||
"context"
|
||||
"errors"
|
||||
"fmt"
|
||||
"os"
|
||||
"sync"
|
||||
"testing"
|
||||
"time"
|
||||
|
||||
"github.com/jackc/pgx/v5/pgxpool"
|
||||
)
|
||||
|
||||
// 需要 PostgreSQL:TEST_DATABASE_URL=postgres://user:pass@localhost:5432/db?sslmode=disable go test ./...
|
||||
func setup(t *testing.T) *pgxpool.Pool {
|
||||
t.Helper()
|
||||
url := os.Getenv("TEST_DATABASE_URL")
|
||||
if url == "" {
|
||||
t.Skip("未设置 TEST_DATABASE_URL,跳过集成测试")
|
||||
}
|
||||
ctx := context.Background()
|
||||
schema := fmt.Sprintf("t_order_%d", time.Now().UnixNano())
|
||||
admin, err := pgxpool.New(ctx, url)
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
if _, err := admin.Exec(ctx, "CREATE SCHEMA "+schema); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
cfg, _ := pgxpool.ParseConfig(url)
|
||||
cfg.ConnConfig.RuntimeParams["search_path"] = schema // 每次测试用独立的 schema
|
||||
db, err := pgxpool.NewWithConfig(ctx, cfg)
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
t.Cleanup(func() {
|
||||
db.Close()
|
||||
_, _ = admin.Exec(ctx, "DROP SCHEMA "+schema+" CASCADE")
|
||||
admin.Close()
|
||||
})
|
||||
if _, err := db.Exec(ctx, Schema); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
return db
|
||||
}
|
||||
|
||||
func newOrder(t *testing.T, db *pgxpool.Pool) Order {
|
||||
t.Helper()
|
||||
var id int64
|
||||
if err := db.QueryRow(context.Background(), "INSERT INTO orders DEFAULT VALUES RETURNING id").Scan(&id); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
o, err := Get(context.Background(), db, id)
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
return o
|
||||
}
|
||||
|
||||
func TestAllowed(t *testing.T) {
|
||||
if !allowed("pending", "paid") || allowed("pending", "shipped") || allowed("completed", "paid") {
|
||||
t.Fatal("状态流转表不对")
|
||||
}
|
||||
}
|
||||
|
||||
func TestTransitionAndAudit(t *testing.T) {
|
||||
db := setup(t)
|
||||
ctx := context.Background()
|
||||
o := newOrder(t, db)
|
||||
o, err := Transition(ctx, db, o, "paid", "payment-callback", "")
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
if _, err := Transition(ctx, db, o, "completed", "admin", ""); !errors.Is(err, ErrIllegal) {
|
||||
t.Fatalf("paid -> completed 应该不允许,得到 %v", err)
|
||||
}
|
||||
var n int
|
||||
_ = db.QueryRow(ctx, "SELECT count(*) FROM order_events WHERE order_id = $1", o.ID).Scan(&n)
|
||||
if n != 1 {
|
||||
t.Fatalf("审计日志条数 = %d", n)
|
||||
}
|
||||
}
|
||||
|
||||
func TestConcurrentCancelAndPay(t *testing.T) {
|
||||
db := setup(t)
|
||||
ctx := context.Background()
|
||||
o := newOrder(t, db) // 两个操作读到的是同一个版本
|
||||
var wg sync.WaitGroup
|
||||
errs := make([]error, 2)
|
||||
for i, to := range []string{"paid", "cancelled"} {
|
||||
wg.Add(1)
|
||||
go func() {
|
||||
defer wg.Done()
|
||||
_, errs[i] = Transition(ctx, db, o, to, "test", "")
|
||||
}()
|
||||
}
|
||||
wg.Wait()
|
||||
ok, conflict := 0, 0
|
||||
for _, err := range errs {
|
||||
switch {
|
||||
case err == nil:
|
||||
ok++
|
||||
case errors.Is(err, ErrConflict):
|
||||
conflict++
|
||||
default:
|
||||
t.Fatal(err)
|
||||
}
|
||||
}
|
||||
if ok != 1 || conflict != 1 {
|
||||
t.Fatalf("应该一个成功一个冲突,得到 ok=%d conflict=%d", ok, conflict)
|
||||
}
|
||||
cur, _ := Get(ctx, db, o.ID)
|
||||
var n int
|
||||
_ = db.QueryRow(ctx, "SELECT count(*) FROM order_events WHERE order_id = $1", o.ID).Scan(&n)
|
||||
if cur.Version != 2 || n != 1 {
|
||||
t.Fatalf("版本 %d,审计 %d 条", cur.Version, n)
|
||||
}
|
||||
}
|
||||
@@ -4,12 +4,37 @@ title: PostgreSQL
|
||||
type: index
|
||||
domain: backend
|
||||
stack: [postgresql]
|
||||
tags: []
|
||||
tags: [数据库, SQL, PostgreSQL]
|
||||
week: [2, 3, 6]
|
||||
---
|
||||
|
||||
# PostgreSQL
|
||||
|
||||
表设计、SQL、索引与 EXPLAIN、事务与 MVCC、JSONB、pgvector。
|
||||
功能最全面的开源关系数据库之一:标准 SQL 支持好、事务和并发控制严谨,还有 JSONB、全文检索、pgvector(向量检索)等扩展。本计划用它学 SQL 和事务,再对照学习 [MySQL](../mysql/index.md)。
|
||||
|
||||
> 本专题建设中:课程、企业场景、面试题和示例代码会陆续补充。
|
||||
## 学习路线
|
||||
|
||||
| 顺序 | 课程 | 级别 | 预计 |
|
||||
| --- | --- | --- | --- |
|
||||
| 1 | [表设计和 SQL:约束、JOIN、CTE、窗口函数、JSONB、UPSERT](01-schema-sql.md) | 基础 | 4 小时 |
|
||||
| 2 | [索引、EXPLAIN、事务、隔离级别和 MVCC](02-index-tx-mvcc.md) | 进阶 | 4 小时 |
|
||||
|
||||
## 企业场景
|
||||
|
||||
- [订单状态机:状态流转、乐观锁和审计日志](scenarios/order-state-audit.md)
|
||||
|
||||
## 面试题
|
||||
|
||||
- [PostgreSQL 面试题](interview.md)
|
||||
|
||||
## 示例代码
|
||||
|
||||
- [examples/order-state](examples/order-state/):Go + pgx 实现的订单状态流转(乐观锁 + 审计日志,同一事务提交);设置 `TEST_DATABASE_URL` 后运行集成测试
|
||||
|
||||
## 在 16 周计划中
|
||||
|
||||
- [第 2 周:数据库 + 鉴权](../../../plan/week02-db-auth.md)、[第 3 周:项目一](../../../plan/week03-project1.md)、[第 6 周:pgvector 对照](../../../plan/week06-rag-2.md)
|
||||
|
||||
## 官方资料
|
||||
|
||||
- PostgreSQL 中文文档:http://www.postgres.cn/docs/current/ ;英文文档:https://www.postgresql.org/docs/current/
|
||||
@@ -0,0 +1,71 @@
|
||||
---
|
||||
id: backend.postgresql.interview
|
||||
title: PostgreSQL 面试题
|
||||
type: interview
|
||||
domain: backend
|
||||
stack: [postgresql]
|
||||
tags: [PostgreSQL, SQL, 事务, 面试]
|
||||
level: intermediate
|
||||
related: [backend.postgresql.schema-sql, backend.postgresql.index-tx-mvcc, backend.mysql.interview]
|
||||
week: [2, 16]
|
||||
---
|
||||
|
||||
# PostgreSQL 面试题
|
||||
|
||||
> 在本计划里的体现:`todo-api` / `task-board` 的数据层(第 2~3 周),pgvector 对照(第 6 周)。MySQL 相关题目见 [MySQL 面试题](../mysql/interview.md)。
|
||||
|
||||
## 基础
|
||||
|
||||
### 【基础】`WHERE` 和 `HAVING` 的区别?
|
||||
|
||||
**参考答案**:`WHERE` 在分组前过滤行,不能使用聚合函数;`HAVING` 在 `GROUP BY` 之后过滤分组,可以使用聚合函数。能用 `WHERE` 过滤的尽量用 `WHERE`,减少参与分组的数据量。
|
||||
|
||||
### 【基础】`INNER JOIN` 和 `LEFT JOIN` 的区别?LEFT JOIN 的条件写在 ON 和 WHERE 里有什么不同?
|
||||
|
||||
**参考答案**:内连接只保留两边都匹配的行;左连接保留左表所有行,右表没匹配的列为 NULL。右表的过滤条件写在 `ON` 里时,不匹配的左表行仍然保留;写在 `WHERE` 里会把右表为 NULL 的行过滤掉,效果等同内连接。
|
||||
|
||||
### 【基础】为什么 `NOT IN` 遇到 NULL 会出问题?
|
||||
|
||||
**参考答案**:`x NOT IN (a, b, NULL)` 等价于 `x <> a AND x <> b AND x <> NULL`,而 `x <> NULL` 的结果是 UNKNOWN,整个条件永远不为真,查询返回空。用 `NOT EXISTS` 或先过滤掉 NULL。
|
||||
|
||||
### 【基础】金额应该用什么类型?时间呢?
|
||||
|
||||
**参考答案**:金额用 `NUMERIC(p, s)` 或以“分”为单位的整数,不用浮点数(有精度误差)。时间用 `TIMESTAMPTZ`,统一存 UTC,展示时按用户时区转换。
|
||||
|
||||
### 【基础】什么是 UPSERT?为什么比“先查再插”安全?
|
||||
|
||||
**参考答案**:`INSERT ... ON CONFLICT (唯一键) DO UPDATE / DO NOTHING`,一条语句完成“有则更新、无则插入”。它依赖唯一约束在数据库内部原子判断;“先查再插”在并发下两个请求都可能查不到然后都插入。
|
||||
|
||||
## 进阶
|
||||
|
||||
### 【进阶】PostgreSQL 的 MVCC 是怎么实现的?VACUUM 是干什么的?
|
||||
|
||||
**参考答案**:更新时写入一个新版本的行,旧版本标记为对新事务不可见但保留给仍在使用旧快照的事务;每个事务根据快照判断哪些版本可见,所以读写互不阻塞。旧版本(死元组)需要 VACUUM 回收空间并更新可见性信息,autovacuum 会自动执行。长事务会阻止死元组被回收,导致表膨胀和性能下降。
|
||||
|
||||
**追问**:和 MySQL InnoDB 的 MVCC 有什么不同?→ InnoDB 原地更新、旧版本放在 undo log 里由 purge 线程清理;PostgreSQL 新旧版本都在表里,需要 VACUUM。
|
||||
|
||||
### 【进阶】PostgreSQL 默认的隔离级别是什么?可重复读下修改冲突会怎样?
|
||||
|
||||
**参考答案**:默认读已提交。可重复读下,事务看到的是开始时的快照;如果要更新的行在快照之后被其他事务修改并提交了,会报 `could not serialize access due to concurrent update`(SQLSTATE 40001),应用需要重试整个事务。
|
||||
|
||||
### 【进阶】一条 SQL 很慢,你怎么排查?
|
||||
|
||||
**参考答案**:先用 `EXPLAIN (ANALYZE, BUFFERS)` 看执行计划:是不是全表扫描、预估行数和实际行数是否差距大(统计信息过时就 `ANALYZE`)、哪个节点耗时最多。常见优化:按查询条件建联合索引(注意最左前缀和排序方向)、避免在索引列上用函数、用覆盖索引、改写子查询、分页改成游标(按上一页最后一个 ID 继续)。线上用 `pg_stat_statements` 找出总耗时最高的语句。
|
||||
|
||||
### 【进阶】`FOR UPDATE SKIP LOCKED` 有什么用?
|
||||
|
||||
**参考答案**:选中并锁定行,遇到已被其他事务锁住的行直接跳过。适合“多个 worker 并发从任务表取任务”:每个 worker 拿到不同的任务,互不阻塞,不需要额外的消息队列。
|
||||
|
||||
## 场景题
|
||||
|
||||
### 【场景题】订单表有几千万行,按用户查最近订单的分页越往后越慢,怎么优化?
|
||||
|
||||
**参考答案**:`OFFSET` 越大,数据库要扫描并丢弃的行越多。改成游标分页(keyset):`WHERE user_id = ? AND (created_at, id) < (上一页最后一条的值) ORDER BY created_at DESC, id DESC LIMIT 20`,配合 `(user_id, created_at DESC, id DESC)` 联合索引,每页都是索引范围扫描。代价是不能直接跳到第 N 页,通常用“加载更多”交互。更大规模时按时间分区,历史数据归档。
|
||||
|
||||
### 【场景题】线上要给一张大表加索引和加字段,怎么做才不影响业务?
|
||||
|
||||
**参考答案**:索引用 `CREATE INDEX CONCURRENTLY`(不阻塞写,不能在事务里执行,失败要删掉无效索引重建)。加字段:PostgreSQL 11 起加带常量默认值的列不需要重写表,很快;但要注意 DDL 需要短暂的排他锁,如果前面有长事务会排队并阻塞后续查询,所以设置 `lock_timeout`,在低峰期执行。迁移脚本要向后兼容:先加字段、发新代码,再清理旧字段。
|
||||
|
||||
### 【场景题】用户和支付回调同时修改订单状态,怎么保证状态正确?
|
||||
|
||||
**参考答案**:状态流转规则集中定义,修改用带版本号(或旧状态)的条件 UPDATE 做乐观锁,影响行数为 0 时视为冲突,重新读取最新状态再决定;审计日志与状态修改放在同一事务。冲突频繁的场景可以用 `SELECT ... FOR UPDATE` 排队。详见本技术栈的[订单状态机场景](scenarios/order-state-audit.md)。
|
||||
@@ -0,0 +1,91 @@
|
||||
---
|
||||
id: backend.postgresql.scenario.order-state-audit
|
||||
title: 订单状态机:状态流转、乐观锁和审计日志
|
||||
type: scenario
|
||||
domain: backend
|
||||
stack: [postgresql, go]
|
||||
tags: [状态机, 乐观锁, 审计, 并发, 事务]
|
||||
level: intermediate
|
||||
prerequisites: [backend.postgresql.index-tx-mvcc]
|
||||
est_hours: 2
|
||||
related: [backend.postgresql.interview, backend.mq.reliability]
|
||||
week: [2, 3]
|
||||
---
|
||||
|
||||
# 订单状态机:状态流转、乐观锁和审计日志
|
||||
|
||||
## 业务背景与问题
|
||||
|
||||
一个 B2B 订单系统,订单状态有待支付、已支付、已发货、已完成、已取消、退款中、已退款。线上出现过几类问题:
|
||||
|
||||
1. 用户点“取消”的同时支付回调到达,最后订单状态是“已取消”但钱已经扣了。
|
||||
2. 运营在后台把“已完成”的订单误改回“已发货”,没人知道是谁改的。
|
||||
3. 代码里到处是 `UPDATE orders SET status = ?`,什么状态能改成什么状态全靠各处的 if 判断,规则不一致。
|
||||
|
||||
## 约束
|
||||
|
||||
- 状态修改的并发主要来自:用户操作、支付 / 物流回调、运营后台、定时任务(超时取消)。
|
||||
- 财务和客服要求:每一次状态变化都能查到“谁、什么时候、从什么状态改成什么状态、原因”。
|
||||
- 不能引入太重的组件,先在数据库层解决。
|
||||
|
||||
## 方案设计
|
||||
|
||||
```mermaid
|
||||
stateDiagram-v2
|
||||
[*] --> pending
|
||||
pending --> paid: 支付回调
|
||||
pending --> cancelled: 用户取消 / 超时
|
||||
paid --> shipped: 发货
|
||||
paid --> refunding: 申请退款
|
||||
refunding --> refunded: 退款成功
|
||||
refunding --> paid: 退款驳回
|
||||
shipped --> completed: 确认收货
|
||||
```
|
||||
|
||||
1. **状态流转表集中定义**:一张“从哪个状态可以到哪个状态”的表,所有修改都走同一个 `Transition` 函数,非法流转直接拒绝。
|
||||
2. **乐观锁**:`orders` 表加 `version` 列;修改时 `WHERE id = ? AND status = ? AND version = ?`,影响行数为 0 说明被别人抢先修改,返回“请刷新重试”或由调用方决定(例如支付回调遇到已取消的订单,进入“自动退款”流程)。
|
||||
3. **审计日志**:`order_events` 表记录每次流转,和状态修改**在同一个事务里**提交,保证“状态改了就一定有记录”。
|
||||
4. **对外通知**:状态变化后需要通知其他系统(发短信、更新搜索)时,把消息写进同一事务里的发件箱表,再由后台程序发送(见[消息可靠性](../../mq/03-reliability.md))。
|
||||
|
||||
## 关键代码
|
||||
|
||||
完整代码和并发测试见 [examples/order-state](../examples/order-state/):
|
||||
|
||||
```go
|
||||
tag, err := tx.Exec(ctx,
|
||||
`UPDATE orders SET status = $1, version = version + 1, updated_at = now()
|
||||
WHERE id = $2 AND status = $3 AND version = $4`, to, cur.ID, cur.Status, cur.Version)
|
||||
if tag.RowsAffected() == 0 {
|
||||
return cur, ErrConflict // 被别人抢先修改了
|
||||
}
|
||||
_, err = tx.Exec(ctx, `INSERT INTO order_events (order_id, from_status, to_status, actor, reason)
|
||||
VALUES ($1, $2, $3, $4, $5)`, cur.ID, cur.Status, to, actor, reason)
|
||||
// 两条语句同一个事务提交
|
||||
```
|
||||
|
||||
并发测试:同一个订单同时执行“支付”和“取消”,结果一定是一个成功、一个冲突,审计日志只有一条。
|
||||
|
||||
## 取舍
|
||||
|
||||
| 方案 | 适用 | 代价 |
|
||||
| --- | --- | --- |
|
||||
| **乐观锁(本方案)** | 冲突不频繁的业务修改 | 冲突时需要重试或提示用户 |
|
||||
| 悲观锁 `SELECT ... FOR UPDATE` | 冲突频繁、必须排队执行 | 持锁期间其他事务等待,事务内不能做慢操作 |
|
||||
| 只靠 `WHERE status = 旧状态` | 简单场景 | 无法区分“同状态下的两次修改”,版本号更通用 |
|
||||
| 状态机框架 / 工作流引擎 | 流程复杂、经常变化 | 学习和运维成本 |
|
||||
|
||||
审计日志放数据库表而不是只写应用日志:可以按订单查询、可以和状态修改放进同一事务;数据量大时按月分区或归档。
|
||||
|
||||
## 易错点
|
||||
|
||||
- 先 `SELECT` 状态判断、再 `UPDATE` 不带条件:两步之间别人可能已经改了。条件必须写进 `UPDATE` 的 `WHERE`。
|
||||
- 审计日志在事务外写:状态改成功了但日志写失败(或反过来),数据对不上。
|
||||
- 事务里调用支付网关等外部接口:长事务持锁;外部调用放在事务外,用状态(如“退款中”)表示进行中。
|
||||
- 冲突后盲目自动重试:要先重新读最新状态,再判断这次操作是否还有意义。
|
||||
- 定时任务批量“超时取消”时,也必须走 `Transition`,不能直接批量 `UPDATE`。
|
||||
|
||||
## 面试怎么讲
|
||||
|
||||
> “订单状态曾经出现过并发问题,比如用户取消和支付回调同时到达。我把状态流转规则集中成一张表,所有修改都走一个函数:先校验流转是否合法,再用带版本号的条件 UPDATE 做乐观锁,影响行数为 0 就是冲突;同一个事务里写审计日志,保证每次变化都有记录。写了并发测试,同时发起支付和取消,验证一定是一个成功一个冲突。”
|
||||
|
||||
可能的追问:为什么不用悲观锁?支付成功但订单已取消怎么处理(自动退款流程,人工兜底)?审计表越来越大怎么办(分区、归档)?
|
||||
Reference in new issue
Block a user