阶段2(上):后端专题 Go/Gin/PostgreSQL/MySQL/Redis/MQ/gRPC 的课程、企业场景、面试题和可运行示例
This commit is contained in:
1 parent
0bae9916a9
commit
5eb67c5d08
65 files changed
+6457
-77
No files matched your search
@@ -0,0 +1,89 @@
|
||||
---
|
||||
id: backend.mysql.index-explain
|
||||
title: InnoDB 索引:B+ 树、聚簇索引、回表、最左前缀和 EXPLAIN
|
||||
type: lesson
|
||||
domain: backend
|
||||
stack: [mysql]
|
||||
tags: [索引, B+树, 聚簇索引, 回表, EXPLAIN]
|
||||
level: basic
|
||||
prerequisites: [backend.postgresql.schema-sql]
|
||||
est_hours: 3
|
||||
related: [backend.mysql.tx-locks-mvcc, backend.postgresql.index-tx-mvcc, backend.mysql.interview]
|
||||
week: [2]
|
||||
order: 1
|
||||
---
|
||||
|
||||
# InnoDB 索引:B+ 树、聚簇索引、回表、最左前缀和 EXPLAIN
|
||||
|
||||
## 解释说明
|
||||
|
||||
- **B+ 树**:InnoDB 索引的数据结构。非叶子节点只存键,叶子节点存数据并用链表相连,所以树很矮(几千万行通常 3~4 层)、范围查询顺着叶子链表扫就行。
|
||||
- **聚簇索引(主键索引)**:叶子节点存的是**整行数据**,表数据就是按主键组织的。所以主键最好是递增的整数(顺序插入,页分裂少),不要用随机 UUID 作主键。
|
||||
- **二级索引(普通索引)**:叶子节点存“索引列 + 主键值”。通过二级索引查到主键后,再到聚簇索引里取整行,这一步叫**回表**。
|
||||
- **覆盖索引**:查询需要的列都在二级索引里,就不需要回表,EXPLAIN 的 `Extra` 显示 `Using index`。
|
||||
- **最左前缀**:联合索引 `(a, b, c)` 按 a、b、c 顺序排序。`WHERE a = ?`、`a = ? AND b = ?` 能用上;只有 `WHERE b = ?` 用不上。遇到范围条件(`a > ?`)后,后面的列通常无法继续用于定位。
|
||||
- **索引下推(ICP)**:MySQL 5.6 起,联合索引中的后续列条件可以在存储引擎层先过滤,减少回表,`Extra` 显示 `Using index condition`。
|
||||
|
||||
**EXPLAIN 重点字段**
|
||||
|
||||
| 字段 | 看什么 |
|
||||
| --- | --- |
|
||||
| `type` | 访问方式,从好到差大致:`const` > `eq_ref` > `ref` > `range` > `index`(扫整个索引)> `ALL`(全表扫描) |
|
||||
| `key` | 实际使用的索引;为 NULL 表示没用索引 |
|
||||
| `rows` | 预估要扫描的行数 |
|
||||
| `Extra` | `Using index`(覆盖索引)、`Using filesort`(额外排序)、`Using temporary`(临时表)要特别关注 |
|
||||
|
||||
MySQL 8.0.18+ 可以用 `EXPLAIN ANALYZE` 看实际执行耗时;MariaDB 对应的是 `ANALYZE SELECT ...`。
|
||||
|
||||
## 案例
|
||||
|
||||
订单表按“用户 + 状态”查最近订单:
|
||||
|
||||
- 只有主键时:`type = ALL`,全表扫描。
|
||||
- 建 `(user_id, status, created_at)` 联合索引后:`type = ref`,并且按 `created_at` 排序不需要 filesort。
|
||||
- 只查 `id, created_at` 时:变成覆盖索引,`Extra` 出现 `Using index`。
|
||||
|
||||
## 代码示例
|
||||
|
||||
```sql
|
||||
CREATE TABLE orders (
|
||||
id BIGINT UNSIGNED AUTO_INCREMENT PRIMARY KEY,
|
||||
user_id BIGINT UNSIGNED NOT NULL,
|
||||
status VARCHAR(16) NOT NULL,
|
||||
amount DECIMAL(12, 2) NOT NULL,
|
||||
created_at DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP
|
||||
) ENGINE = InnoDB DEFAULT CHARSET = utf8mb4;
|
||||
|
||||
INSERT INTO orders (user_id, status, amount, created_at)
|
||||
SELECT seq % 1000, ELT(1 + seq % 3, 'pending', 'paid', 'done'), seq % 500, NOW() - INTERVAL seq MINUTE
|
||||
FROM seq_1_to_50000; -- MariaDB 的序列表;MySQL 8 可以用递归 CTE 生成数据
|
||||
|
||||
EXPLAIN SELECT * FROM orders WHERE user_id = 42 AND status = 'paid' ORDER BY created_at DESC LIMIT 20;
|
||||
-- type=ALL,Extra=Using where; Using filesort
|
||||
|
||||
CREATE INDEX idx_user_status_time ON orders (user_id, status, created_at);
|
||||
ANALYZE TABLE orders;
|
||||
|
||||
EXPLAIN SELECT * FROM orders WHERE user_id = 42 AND status = 'paid' ORDER BY created_at DESC LIMIT 20;
|
||||
-- type=ref,key=idx_user_status_time,没有 filesort
|
||||
|
||||
EXPLAIN SELECT id, created_at FROM orders WHERE user_id = 42 AND status = 'paid';
|
||||
-- Extra 含 Using index:覆盖索引(二级索引叶子里本来就有主键 id)
|
||||
|
||||
EXPLAIN SELECT * FROM orders WHERE status = 'paid';
|
||||
-- 不满足最左前缀:type=ALL
|
||||
```
|
||||
|
||||
## 易错点
|
||||
|
||||
- **隐式类型转换**:`phone` 是 VARCHAR,写 `WHERE phone = 13800000000`(数字)会对列做转换,索引失效。参数类型要和列类型一致。
|
||||
- **索引列上用函数**:`WHERE DATE(created_at) = '2026-10-01'` 用不上索引,改成范围条件。
|
||||
- **`LIKE '%xx'`** 前面有通配符用不上索引;`LIKE 'xx%'` 可以。
|
||||
- **`OR` 连接不同列**:可能导致全表扫描,可改为 `UNION ALL` 或分别建索引(index merge)。
|
||||
- **区分度低的列单独建索引**(如性别、状态只有几个值):优化器往往不用它;放在联合索引里配合其他列使用。
|
||||
- **UUID 作主键**:随机插入导致页分裂、索引膨胀;需要全局唯一 ID 时用雪花算法等趋势递增的 ID。
|
||||
- **`SELECT *`**:失去覆盖索引的机会,也多传数据。
|
||||
|
||||
## 面试常问
|
||||
|
||||
见 [MySQL 面试题](interview.md):为什么用 B+ 树、聚簇索引和回表、最左前缀、索引失效场景、EXPLAIN 怎么看。
|
||||
@@ -0,0 +1,119 @@
|
||||
---
|
||||
id: backend.mysql.tx-locks-mvcc
|
||||
title: 事务、隔离级别、MVCC 和锁(行锁、间隙锁、死锁)
|
||||
type: lesson
|
||||
domain: backend
|
||||
stack: [mysql]
|
||||
tags: [事务, 隔离级别, MVCC, 间隙锁, 死锁, undo log, redo log]
|
||||
level: intermediate
|
||||
prerequisites: [backend.mysql.index-explain]
|
||||
est_hours: 4
|
||||
related: [backend.postgresql.index-tx-mvcc, backend.mysql.interview]
|
||||
week: [2, 14]
|
||||
order: 2
|
||||
---
|
||||
|
||||
# 事务、隔离级别、MVCC 和锁(行锁、间隙锁、死锁)
|
||||
|
||||
## 解释说明
|
||||
|
||||
**ACID 由谁保证**
|
||||
|
||||
| 特性 | InnoDB 的实现 |
|
||||
| --- | --- |
|
||||
| 原子性 | undo log:失败时按 undo log 回滚 |
|
||||
| 持久性 | redo log:先写日志再改数据页(WAL),崩溃后按 redo log 恢复 |
|
||||
| 隔离性 | MVCC + 锁 |
|
||||
| 一致性 | 以上三者 + 约束共同保证 |
|
||||
|
||||
另外还有 **binlog**(Server 层的逻辑日志),用于主从复制和按时间点恢复。redo log 和 binlog 通过“两阶段提交”保持一致。
|
||||
|
||||
**隔离级别**(InnoDB 默认 **可重复读 RR**,PostgreSQL 默认读已提交)
|
||||
|
||||
| 级别 | 脏读 | 不可重复读 | 幻读 |
|
||||
| --- | --- | --- | --- |
|
||||
| 读未提交 | 可能 | 可能 | 可能 |
|
||||
| 读已提交 RC | 不会 | 可能 | 可能 |
|
||||
| 可重复读 RR | 不会 | 不会 | 快照读不会;当前读靠间隙锁防止 |
|
||||
| 串行化 | 不会 | 不会 | 不会 |
|
||||
|
||||
**MVCC**:每行有隐藏的事务 ID 和回滚指针,旧版本串在 undo log 里。普通 `SELECT` 是**快照读**,按 Read View 判断哪个版本可见;RC 每条语句生成新的 Read View,RR 在事务第一次读时生成、之后一直复用。
|
||||
|
||||
**当前读和锁**:`SELECT ... FOR UPDATE`、`UPDATE`、`DELETE` 读的是最新版本并加锁。
|
||||
|
||||
- **记录锁**:锁住索引上的一条记录。
|
||||
- **间隙锁**:锁住两条记录之间的“空隙”,防止别人往里插入,RR 下才有。
|
||||
- **临键锁(Next-Key Lock)**:记录锁 + 前面的间隙,是 RR 下的默认加锁单位。
|
||||
- **锁加在索引上**:条件列没有索引时,会扫描并锁住大量记录,效果接近锁表。
|
||||
|
||||
**死锁**:两个事务互相等待对方持有的锁。InnoDB 会自动检测并回滚其中一个(错误码 1213),应用要捕获并重试。
|
||||
|
||||
## 案例
|
||||
|
||||
- 两个请求同时给同一个用户扣余额:用 `UPDATE accounts SET balance = balance - ? WHERE id = ? AND balance >= ?`,一条语句完成判断和扣减,靠行锁串行化。
|
||||
- 两个事务以相反顺序更新两行(A 先改 1 再改 2,B 先改 2 再改 1)就会死锁。解决:统一按 ID 顺序加锁。
|
||||
|
||||
## 代码示例
|
||||
|
||||
两个客户端窗口复现死锁:
|
||||
|
||||
```sql
|
||||
CREATE TABLE accounts (id INT PRIMARY KEY, balance DECIMAL(12, 2) NOT NULL) ENGINE = InnoDB;
|
||||
INSERT INTO accounts VALUES (1, 100), (2, 100);
|
||||
|
||||
-- 窗口 A
|
||||
BEGIN;
|
||||
UPDATE accounts SET balance = balance - 10 WHERE id = 1;
|
||||
-- 窗口 B
|
||||
BEGIN;
|
||||
UPDATE accounts SET balance = balance - 10 WHERE id = 2;
|
||||
-- 窗口 A(等待 B 释放 id=2)
|
||||
UPDATE accounts SET balance = balance + 10 WHERE id = 2;
|
||||
-- 窗口 B:ERROR 1213 (40001): Deadlock found when trying to get lock; try restarting transaction
|
||||
UPDATE accounts SET balance = balance + 10 WHERE id = 1;
|
||||
-- 查看最近一次死锁:SHOW ENGINE INNODB STATUS\G 的 LATEST DETECTED DEADLOCK 部分
|
||||
```
|
||||
|
||||
应用层处理死锁(Python + PyMySQL,按 ID 排序加锁 + 遇到 1213 重试):
|
||||
|
||||
```python
|
||||
import time
|
||||
|
||||
import pymysql
|
||||
|
||||
|
||||
def transfer(conn: pymysql.connections.Connection, src: int, dst: int, amount: int, retries: int = 3) -> None:
|
||||
first, second = sorted((src, dst)) # 统一加锁顺序,从根源上减少死锁
|
||||
for attempt in range(retries):
|
||||
try:
|
||||
with conn.cursor() as cur:
|
||||
conn.begin()
|
||||
cur.execute("SELECT id FROM accounts WHERE id IN (%s, %s) ORDER BY id FOR UPDATE", (first, second))
|
||||
n = cur.execute("UPDATE accounts SET balance = balance - %s WHERE id = %s AND balance >= %s",
|
||||
(amount, src, amount))
|
||||
if n == 0:
|
||||
raise ValueError("余额不足")
|
||||
cur.execute("UPDATE accounts SET balance = balance + %s WHERE id = %s", (amount, dst))
|
||||
conn.commit()
|
||||
return
|
||||
except pymysql.err.OperationalError as e:
|
||||
conn.rollback()
|
||||
if e.args[0] != 1213 or attempt == retries - 1: # 1213 = 死锁
|
||||
raise
|
||||
time.sleep(0.05 * (attempt + 1))
|
||||
except Exception:
|
||||
conn.rollback()
|
||||
raise
|
||||
```
|
||||
|
||||
## 易错点
|
||||
|
||||
- **以为 RR 能防止所有并发问题**:快照读看到的是旧数据,“先查余额再扣”在 RR 下仍然会超扣,要用当前读(`FOR UPDATE`)或条件更新。
|
||||
- **更新条件没有索引**:会锁住大量行,甚至阻塞全表写入。
|
||||
- **大事务**:一次更新几十万行,锁持有时间长、undo 膨胀、主从延迟。分批提交。
|
||||
- **死锁不重试**:死锁在高并发下无法完全避免,应用要能重试。
|
||||
- **把 MySQL 的结论直接套到 PostgreSQL**:两者默认隔离级别、MVCC 实现都不同(见 [PostgreSQL 的事务课程](../postgresql/02-index-tx-mvcc.md))。
|
||||
|
||||
## 面试常问
|
||||
|
||||
见 [MySQL 面试题](interview.md):redo log / undo log / binlog 的区别、RR 怎么解决幻读、间隙锁、死锁排查。
|
||||
@@ -0,0 +1,95 @@
|
||||
---
|
||||
id: backend.mysql.ops-scale
|
||||
title: 运维与扩展:慢查询、主从复制、读写分离、分库分表
|
||||
type: lesson
|
||||
domain: backend
|
||||
stack: [mysql]
|
||||
tags: [慢查询, 主从复制, 读写分离, 分库分表, 在线 DDL]
|
||||
level: intermediate
|
||||
prerequisites: [backend.mysql.tx-locks-mvcc]
|
||||
est_hours: 3
|
||||
related: [backend.mysql.scenario.deep-pagination, backend.mysql.interview]
|
||||
week: [14]
|
||||
order: 3
|
||||
---
|
||||
|
||||
# 运维与扩展:慢查询、主从复制、读写分离、分库分表
|
||||
|
||||
## 解释说明
|
||||
|
||||
**慢查询**
|
||||
|
||||
- 打开慢查询日志:`slow_query_log = ON`、`long_query_time = 1`(秒);用 `mysqldumpslow` 或 `pt-query-digest` 汇总,按“总耗时”排序优先优化。
|
||||
- 排查顺序:EXPLAIN → 看是否全表扫描 / filesort / 临时表 → 加或调整索引 → 改写 SQL → 考虑缓存或改表结构。
|
||||
|
||||
**主从复制**
|
||||
|
||||
- 主库写 binlog,从库的 IO 线程拉取到 relay log,SQL 线程重放。默认是**异步复制**,主库宕机可能丢最后一部分数据;半同步复制要求至少一个从库收到后才返回。
|
||||
- binlog 格式推荐 `ROW`(记录行的变化,最准确)。
|
||||
- **主从延迟**:大事务、从库单线程重放、从库负载高。MySQL 5.7+ 支持并行复制。
|
||||
|
||||
**读写分离**
|
||||
|
||||
- 写走主库,读走从库。问题是**刚写完立刻读**可能读到旧数据。常见做法:写后短时间内的读走主库;关键业务(支付结果、订单详情)强制读主库。
|
||||
- 实现方式:应用里配两个连接池,或者用中间件(ProxySQL、ShardingSphere 等)。
|
||||
|
||||
**分库分表**
|
||||
|
||||
- 什么时候考虑:单表数据量很大且索引已优化仍然慢、单库写入达到瓶颈。先考虑归档历史数据、加缓存、读写分离,分库分表是最后手段。
|
||||
- 分片键:选查询最常用的维度(如 `user_id`),让大部分查询只落在一个分片上。
|
||||
- 带来的问题:跨分片查询和排序分页、跨分片事务、全局唯一 ID(雪花算法)、扩容时的数据迁移。
|
||||
|
||||
**在线 DDL**:MySQL 8 很多 DDL 支持 `ALGORITHM=INPLACE / INSTANT`;大表变更常用 gh-ost、pt-online-schema-change。具体哪些操作支持 INSTANT 以官方文档为准:https://dev.mysql.com/doc/refman/8.4/en/innodb-online-ddl-operations.html
|
||||
|
||||
## 案例
|
||||
|
||||
- 某报表接口慢:慢日志显示一条 `GROUP BY` 语句每天累计耗时最高,EXPLAIN 发现 `Using temporary; Using filesort`,按分组列加联合索引后耗时明显下降;更大的统计改成每天定时汇总到统计表。
|
||||
- 用户下单后立刻跳转订单详情,偶尔显示“订单不存在”:读写分离的主从延迟导致。订单详情页改为读主库。
|
||||
|
||||
## 代码示例
|
||||
|
||||
应用层读写分离的最小实现(Python,演示思路,示意代码):
|
||||
|
||||
```python
|
||||
import contextvars
|
||||
import time
|
||||
|
||||
_force_primary_until = contextvars.ContextVar("force_primary_until", default=0.0)
|
||||
|
||||
|
||||
class Router:
|
||||
"""写走主库;写后 2 秒内同一请求上下文的读也走主库,避免主从延迟读到旧数据。"""
|
||||
|
||||
def __init__(self, primary, replicas, sticky_seconds: float = 2.0):
|
||||
self.primary, self.replicas, self.sticky = primary, replicas, sticky_seconds
|
||||
self._i = 0
|
||||
|
||||
def for_write(self):
|
||||
_force_primary_until.set(time.monotonic() + self.sticky)
|
||||
return self.primary
|
||||
|
||||
def for_read(self, strong: bool = False):
|
||||
if strong or not self.replicas or time.monotonic() < _force_primary_until.get():
|
||||
return self.primary
|
||||
self._i = (self._i + 1) % len(self.replicas) # 简单轮询
|
||||
return self.replicas[self._i]
|
||||
|
||||
|
||||
r = Router(primary="primary", replicas=["replica-1", "replica-2"])
|
||||
assert r.for_read() in ("replica-1", "replica-2")
|
||||
r.for_write()
|
||||
assert r.for_read() == "primary" # 刚写完,读主库
|
||||
assert r.for_read(strong=True) == "primary" # 关键业务强制读主库
|
||||
```
|
||||
|
||||
## 易错点
|
||||
|
||||
- **一上来就分库分表**:复杂度大幅上升。先归档、索引、缓存、读写分离。
|
||||
- **分片键选错**:大部分查询都要扫所有分片,性能反而更差。
|
||||
- **从库当备份**:误删数据会立刻同步到从库,备份要单独做(全量 + binlog)并定期演练恢复。
|
||||
- **大事务导致主从延迟**:批量操作分批提交。
|
||||
- **直接在大表上执行 `ALTER TABLE`**:可能长时间锁表或引起复制延迟,先确认算法,必要时用在线变更工具,在低峰期执行。
|
||||
|
||||
## 面试常问
|
||||
|
||||
见 [MySQL 面试题](interview.md):主从延迟怎么处理、什么时候分库分表、分片键怎么选。
|
||||
@@ -0,0 +1,114 @@
|
||||
# requires: pymysql
|
||||
"""对比 LIMIT offset 深分页和游标(keyset)分页。
|
||||
|
||||
运行:MYSQL_URL=mysql://user:pass@127.0.0.1:3306/db python paginate.py
|
||||
没有设置 MYSQL_URL 时只打印提示并正常退出。会创建并删除临时表 demo_page_orders。
|
||||
"""
|
||||
import os
|
||||
import sys
|
||||
import time
|
||||
from urllib.parse import urlparse
|
||||
|
||||
import pymysql
|
||||
|
||||
TABLE = "demo_page_orders"
|
||||
ROWS = 100_000
|
||||
PAGE = 20
|
||||
|
||||
|
||||
def connect(url: str) -> pymysql.connections.Connection:
|
||||
u = urlparse(url)
|
||||
return pymysql.connect(host=u.hostname, port=u.port or 3306, user=u.username, password=u.password or "",
|
||||
database=u.path.lstrip("/"), autocommit=True)
|
||||
|
||||
|
||||
def seed(cur) -> None:
|
||||
cur.execute(f"DROP TABLE IF EXISTS {TABLE}")
|
||||
cur.execute(f"""CREATE TABLE {TABLE} (
|
||||
id BIGINT UNSIGNED AUTO_INCREMENT PRIMARY KEY,
|
||||
user_id INT NOT NULL,
|
||||
created_at DATETIME NOT NULL,
|
||||
note VARCHAR(100) NOT NULL,
|
||||
KEY idx_user_time_id (user_id, created_at, id)
|
||||
) ENGINE = InnoDB""")
|
||||
batch = []
|
||||
for i in range(ROWS):
|
||||
batch.append((1, f"note-{i}")) # 全部属于 user 1,便于构造深分页
|
||||
if len(batch) == 5000:
|
||||
cur.executemany(f"INSERT INTO {TABLE} (user_id, created_at, note) VALUES (%s, '2026-01-01', %s)", batch)
|
||||
batch.clear()
|
||||
# 时间按 id 递增;让每 3 行共用一个时间,演示“时间相同按 id 排序”
|
||||
cur.execute(f"UPDATE {TABLE} SET created_at = '2026-01-01' + INTERVAL (id DIV 3) SECOND")
|
||||
cur.execute(f"ANALYZE TABLE {TABLE}")
|
||||
cur.fetchall()
|
||||
|
||||
|
||||
def offset_page(cur, offset: int) -> list[tuple]:
|
||||
cur.execute(f"SELECT id, created_at, note FROM {TABLE} WHERE user_id = 1 "
|
||||
f"ORDER BY created_at DESC, id DESC LIMIT %s OFFSET %s", (PAGE, offset))
|
||||
return list(cur.fetchall())
|
||||
|
||||
|
||||
def deferred_join_page(cur, offset: int) -> list[tuple]:
|
||||
# 延迟关联:先在覆盖索引上找出 id,再回表取这一页的整行
|
||||
cur.execute(f"""SELECT o.id, o.created_at, o.note FROM {TABLE} o
|
||||
JOIN (SELECT id FROM {TABLE} WHERE user_id = 1 ORDER BY created_at DESC, id DESC LIMIT %s OFFSET %s) t
|
||||
ON o.id = t.id ORDER BY o.created_at DESC, o.id DESC""", (PAGE, offset))
|
||||
return list(cur.fetchall())
|
||||
|
||||
|
||||
def keyset_page(cur, after: tuple | None) -> list[tuple]:
|
||||
if after is None:
|
||||
cur.execute(f"SELECT id, created_at, note FROM {TABLE} WHERE user_id = 1 "
|
||||
f"ORDER BY created_at DESC, id DESC LIMIT %s", (PAGE,))
|
||||
else:
|
||||
created_at, last_id = after
|
||||
cur.execute(f"SELECT id, created_at, note FROM {TABLE} WHERE user_id = 1 "
|
||||
f"AND (created_at < %s OR (created_at = %s AND id < %s)) "
|
||||
f"ORDER BY created_at DESC, id DESC LIMIT %s", (created_at, created_at, last_id, PAGE))
|
||||
return list(cur.fetchall())
|
||||
|
||||
|
||||
def timed(fn, *args) -> tuple[float, list[tuple]]:
|
||||
t = time.perf_counter()
|
||||
rows = fn(*args)
|
||||
return (time.perf_counter() - t) * 1000, rows
|
||||
|
||||
|
||||
def main() -> int:
|
||||
url = os.environ.get("MYSQL_URL")
|
||||
if not url:
|
||||
print("未设置 MYSQL_URL,跳过(示例:mysql://app:app@127.0.0.1:3306/learn)")
|
||||
return 0
|
||||
conn = connect(url)
|
||||
cur = conn.cursor()
|
||||
try:
|
||||
seed(cur)
|
||||
offset = ROWS - 1000 # 很深的一页
|
||||
ms1, a = timed(offset_page, cur, offset)
|
||||
ms2, b = timed(deferred_join_page, cur, offset)
|
||||
# 游标分页:拿到上一页最后一行 (created_at, id),直接从那里继续
|
||||
prev = offset_page(cur, offset - PAGE)[-1]
|
||||
ms3, c = timed(keyset_page, cur, (prev[1], prev[0]))
|
||||
assert a == b == c, "三种写法结果应该一致"
|
||||
print(f"OFFSET {offset}: {ms1:.1f} ms;延迟关联: {ms2:.1f} ms;游标分页: {ms3:.1f} ms(耗时与机器有关,看相对差异)")
|
||||
# 游标分页逐页翻完不重不漏
|
||||
seen, after = 0, None
|
||||
while True:
|
||||
rows = keyset_page(cur, after)
|
||||
if not rows:
|
||||
break
|
||||
seen += len(rows)
|
||||
after = (rows[-1][1], rows[-1][0])
|
||||
if seen >= 2000:
|
||||
break
|
||||
assert seen == 2000
|
||||
print("游标分页连续翻页正确")
|
||||
return 0
|
||||
finally:
|
||||
cur.execute(f"DROP TABLE IF EXISTS {TABLE}")
|
||||
conn.close()
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
sys.exit(main())
|
||||
@@ -4,12 +4,41 @@ title: MySQL
|
||||
type: index
|
||||
domain: backend
|
||||
stack: [mysql]
|
||||
tags: []
|
||||
tags: [数据库, SQL, MySQL, InnoDB]
|
||||
week: [2, 14]
|
||||
---
|
||||
|
||||
# MySQL
|
||||
|
||||
InnoDB 索引、EXPLAIN、事务隔离与锁、慢查询、分库分表与主从。
|
||||
国内招聘里出现最多的关系数据库。本计划先用 [PostgreSQL](../postgresql/index.md) 学 SQL 和事务,再用这个专题补齐 MySQL(InnoDB)特有的知识:聚簇索引、EXPLAIN 读法、间隙锁、主从复制和分库分表——这些是面试高频题。
|
||||
|
||||
> 本专题建设中:课程、企业场景、面试题和示例代码会陆续补充。
|
||||
> 示例在 MariaDB 11.8 上验证过;MariaDB 与 MySQL 8 在 `EXPLAIN ANALYZE`、部分系统变量上有差异,文中已标注,以 MySQL 官方文档为准。
|
||||
|
||||
## 学习路线
|
||||
|
||||
| 顺序 | 课程 | 级别 | 预计 |
|
||||
| --- | --- | --- | --- |
|
||||
| 1 | [InnoDB 索引:B+ 树、聚簇索引、回表、最左前缀和 EXPLAIN](01-index-explain.md) | 基础 | 3 小时 |
|
||||
| 2 | [事务、隔离级别、MVCC 和锁(行锁、间隙锁、死锁)](02-tx-locks-mvcc.md) | 进阶 | 4 小时 |
|
||||
| 3 | [运维与扩展:慢查询、主从复制、读写分离、分库分表](03-ops-scale.md) | 进阶 | 3 小时 |
|
||||
|
||||
## 企业场景
|
||||
|
||||
- [大表深分页和历史数据:游标分页、延迟关联、归档](scenarios/deep-pagination.md)
|
||||
|
||||
## 面试题
|
||||
|
||||
- [MySQL 面试题](interview.md)
|
||||
|
||||
## 示例代码
|
||||
|
||||
- [examples/deep-pagination](examples/deep-pagination/):Python + PyMySQL 对比 `LIMIT offset` 和游标分页;设置 `MYSQL_URL` 后运行
|
||||
|
||||
## 在 16 周计划中
|
||||
|
||||
- [第 2 周:数据库 + 鉴权(MySQL 对照)](../../../plan/week02-db-auth.md)、[第 14 周:后端扩展](../../../plan/week14-backend-extend-deploy.md)
|
||||
|
||||
## 官方资料
|
||||
|
||||
- MySQL 8.4 参考手册:https://dev.mysql.com/doc/refman/8.4/en/
|
||||
- InnoDB 锁:https://dev.mysql.com/doc/refman/8.4/en/innodb-locking.html
|
||||
@@ -0,0 +1,71 @@
|
||||
---
|
||||
id: backend.mysql.interview
|
||||
title: MySQL 面试题
|
||||
type: interview
|
||||
domain: backend
|
||||
stack: [mysql]
|
||||
tags: [MySQL, InnoDB, 索引, 事务, 面试]
|
||||
level: intermediate
|
||||
related: [backend.mysql.index-explain, backend.mysql.tx-locks-mvcc, backend.mysql.ops-scale, backend.postgresql.interview]
|
||||
week: [2, 14, 16]
|
||||
---
|
||||
|
||||
# MySQL 面试题
|
||||
|
||||
> 招聘要求里 MySQL 出现频率很高,这部分建议全部能口述。PostgreSQL 的题见 [PostgreSQL 面试题](../postgresql/interview.md)。
|
||||
|
||||
## 基础
|
||||
|
||||
### 【基础】InnoDB 为什么用 B+ 树而不是 B 树、红黑树或哈希?
|
||||
|
||||
**参考答案**:B+ 树的非叶子节点只存键,一个页能放更多键,树更矮,磁盘 IO 次数少;所有数据在叶子节点且叶子之间用链表相连,范围查询和排序高效。红黑树是二叉树,数据多时太高;哈希只支持等值查询,不支持范围和排序。
|
||||
|
||||
### 【基础】什么是聚簇索引、回表和覆盖索引?
|
||||
|
||||
**参考答案**:InnoDB 的主键索引叶子节点存整行数据,叫聚簇索引;二级索引叶子节点存索引列和主键值。通过二级索引找到主键再去主键索引取整行叫回表。如果查询需要的列都在二级索引里,就不用回表,叫覆盖索引(EXPLAIN 的 Extra 显示 Using index)。
|
||||
|
||||
**追问**:为什么建议主键用自增整数?→ 顺序插入页分裂少;主键越短,二级索引越小。
|
||||
|
||||
### 【基础】联合索引的最左前缀原则是什么?
|
||||
|
||||
**参考答案**:联合索引 `(a, b, c)` 先按 a 排序,a 相同再按 b,依此类推。查询条件要从 a 开始连续使用才能利用索引定位;只用 b 或 c 用不上;中间遇到范围条件(如 `a > 1`)后,后面的列一般不能再用于定位(可以靠索引下推过滤)。
|
||||
|
||||
### 【基础】有哪些常见的索引失效情况?
|
||||
|
||||
**参考答案**:索引列上用函数或运算;隐式类型转换(字符串列用数字比较);`LIKE` 以 `%` 开头;不满足最左前缀;`OR` 连接的列有的没索引;优化器判断走索引不如全表扫描(区分度低、要扫的行太多)。
|
||||
|
||||
### 【基础】redo log、undo log、binlog 分别是什么?
|
||||
|
||||
**参考答案**:redo log 是 InnoDB 的物理日志,记录“某页做了什么修改”,保证崩溃后已提交的事务不丢(持久性);undo log 记录修改前的值,用于回滚和 MVCC 读旧版本(原子性、隔离性);binlog 是 Server 层的逻辑日志,用于主从复制和按时间点恢复。redo log 和 binlog 用两阶段提交保证一致。
|
||||
|
||||
## 进阶
|
||||
|
||||
### 【进阶】InnoDB 的可重复读是怎么实现的?能解决幻读吗?
|
||||
|
||||
**参考答案**:普通 SELECT 是快照读,事务第一次读时生成 Read View,之后一直用它判断数据版本是否可见,所以多次读结果一致,也看不到别人新插入的行。当前读(`FOR UPDATE`、`UPDATE`)读最新数据,通过临键锁(记录锁 + 间隙锁)阻止其他事务在范围内插入,从而避免幻读。但如果事务里先快照读、再当前读,仍可能看到不一致,所以不能说“完全解决”。
|
||||
|
||||
### 【进阶】什么情况下会死锁?怎么排查和避免?
|
||||
|
||||
**参考答案**:两个事务以不同顺序锁定相同的资源,互相等待。InnoDB 会检测并回滚代价小的那个事务(错误 1213)。排查:`SHOW ENGINE INNODB STATUS` 的 LATEST DETECTED DEADLOCK 段,看两个事务各自持有和等待的锁。避免:固定加锁顺序(如按 id 排序)、缩小事务、更新条件走索引减少锁范围、必要时降低到读已提交减少间隙锁;应用层捕获死锁并重试。
|
||||
|
||||
### 【进阶】主从延迟的原因和处理方式?
|
||||
|
||||
**参考答案**:原因:大事务、从库重放并行度低、从库负载高或配置差、网络。处理:拆分大事务、开启并行复制、关键读走主库(写后一段时间内读主库)、监控延迟超过阈值时把读流量切回主库。
|
||||
|
||||
### 【进阶】什么时候需要分库分表?分片键怎么选?
|
||||
|
||||
**参考答案**:单表数据量大到索引优化后仍然慢、或单库写入成为瓶颈,并且归档、缓存、读写分离都用过之后再考虑。分片键选最常用的查询维度(如用户 ID),让大部分请求只访问一个分片,并且数据分布均匀。代价是跨分片查询、分页、事务、全局 ID 和扩容迁移都变复杂。
|
||||
|
||||
## 场景题
|
||||
|
||||
### 【场景题】“先查库存再扣减”在高并发下超卖了,怎么改?
|
||||
|
||||
**参考答案**:查和扣两步之间有并发窗口。改成一条条件更新:`UPDATE stock SET num = num - 1 WHERE sku_id = ? AND num >= 1`,判断影响行数;或者 `SELECT ... FOR UPDATE` 加锁后再扣。并发非常高时(秒杀),数据库行锁会成为瓶颈,在 Redis 里预扣库存、消息队列异步落库(见 Redis 专题的库存场景和跨栈场景“秒杀”)。
|
||||
|
||||
### 【场景题】一张几千万行的表,分页越往后越慢,怎么优化?
|
||||
|
||||
**参考答案**:`LIMIT offset` 需要扫描并丢弃前面的行。改为游标分页(记住上一页最后一条的排序键和 id);需要跳页时用延迟关联并限制最大页数;导出走异步任务;历史数据归档。详见[深分页场景](scenarios/deep-pagination.md)。
|
||||
|
||||
### 【场景题】线上一个接口突然变慢,数据库 CPU 很高,你怎么排查?
|
||||
|
||||
**参考答案**:先 `SHOW PROCESSLIST` 看正在执行的慢语句和状态(是否大量 Waiting for lock);查慢查询日志按总耗时排序;对可疑 SQL 做 EXPLAIN,看是不是最近上线的新语句、索引被删、统计信息不准导致走错索引;有锁等待时查 `information_schema` / `performance_schema` 中的锁信息找到阻塞源。处理上可以先限流或下线问题功能止血,再加索引或改 SQL,最后复盘加监控。
|
||||
@@ -0,0 +1,77 @@
|
||||
---
|
||||
id: backend.mysql.scenario.deep-pagination
|
||||
title: 大表深分页和历史数据:游标分页、延迟关联、归档
|
||||
type: scenario
|
||||
domain: backend
|
||||
stack: [mysql]
|
||||
tags: [深分页, 游标分页, 延迟关联, 归档, 大表]
|
||||
level: intermediate
|
||||
prerequisites: [backend.mysql.index-explain]
|
||||
est_hours: 2
|
||||
related: [backend.mysql.ops-scale, backend.mysql.interview]
|
||||
week: [2, 14]
|
||||
---
|
||||
|
||||
# 大表深分页和历史数据:游标分页、延迟关联、归档
|
||||
|
||||
## 业务背景与问题
|
||||
|
||||
一个 SaaS 后台的“操作记录 / 订单列表”页面,单表已积累数千万行。用户反馈:前几页很快,翻到很后面或者导出时接口超时;同时这张表的慢查询日志里大部分是 `LIMIT 大数, 20`。
|
||||
|
||||
## 约束
|
||||
|
||||
- 列表需要按时间倒序展示,支持按用户、状态筛选。
|
||||
- 产品希望保留“跳到第 N 页”,但能接受在超过一定页数后改成“加载更多”。
|
||||
- 导出需要导出全部符合条件的数据。
|
||||
- 不希望马上引入分库分表或搜索引擎。
|
||||
|
||||
## 方案设计
|
||||
|
||||
1. **找原因**:`LIMIT 199000, 20` 需要先按索引顺序找到 199020 行(并回表),再丢掉前 199000 行,越往后越慢。
|
||||
2. **游标分页(主方案)**:前端传上一页最后一条的 `(created_at, id)`,查询 `WHERE (created_at, id) < (?, ?) ORDER BY created_at DESC, id DESC LIMIT 20`,配合 `(user_id, created_at, id)` 联合索引,每页都只扫 20 行。适合“加载更多”、无限滚动、App 列表。
|
||||
3. **延迟关联(保留跳页时用)**:子查询只在覆盖索引上找出这一页的 id,再回表取整行,减少大量回表。仍然要扫描 offset 行,只是更便宜;同时限制最大页数(如 100 页)。
|
||||
4. **导出**:用游标分页按批读取,后台异步生成文件,不在请求里同步完成。
|
||||
5. **归档**:超过一定时间(如 1 年)的数据移到历史表或对象存储,主表只保留热数据;历史查询走单独的入口。
|
||||
|
||||
## 关键代码
|
||||
|
||||
完整可运行对比见 [examples/deep-pagination/paginate.py](../examples/deep-pagination/paginate.py):
|
||||
|
||||
```sql
|
||||
-- 游标分页:时间相同的行用 id 区分,保证不重不漏
|
||||
SELECT id, created_at, note FROM orders
|
||||
WHERE user_id = 1 AND (created_at < ? OR (created_at = ? AND id < ?))
|
||||
ORDER BY created_at DESC, id DESC LIMIT 20;
|
||||
|
||||
-- 延迟关联:先在覆盖索引上取 id,再回表
|
||||
SELECT o.* FROM orders o
|
||||
JOIN (SELECT id FROM orders WHERE user_id = 1 ORDER BY created_at DESC, id DESC LIMIT 20 OFFSET 199000) t
|
||||
ON o.id = t.id
|
||||
ORDER BY o.created_at DESC, o.id DESC;
|
||||
```
|
||||
|
||||
在本地 10 万~20 万行的测试数据上,深页的游标分页比 `OFFSET` 快一到两个数量级(具体数字与机器有关,以你自己运行的结果为准)。
|
||||
|
||||
## 取舍
|
||||
|
||||
| 方案 | 优点 | 缺点 |
|
||||
| --- | --- | --- |
|
||||
| 游标分页 | 每页耗时稳定,适合海量数据 | 不能直接跳到第 N 页;排序字段必须唯一或加 id 兜底 |
|
||||
| 延迟关联 | 保留跳页,改动小 | 仍随 offset 变慢,只是常数更小 |
|
||||
| 限制最大页数 | 简单直接 | 需要产品接受 |
|
||||
| 搜索引擎(ES 等) | 复杂筛选、全文检索 | 多一套系统,要做数据同步(见跨栈场景“数据同步”) |
|
||||
| 归档 | 主表变小,所有查询受益 | 历史数据查询入口要单独设计 |
|
||||
|
||||
## 易错点
|
||||
|
||||
- 只按 `created_at` 做游标:时间相同的多行会被跳过或重复,必须加 `id` 作为第二排序键。
|
||||
- 游标条件和 ORDER BY、索引列顺序不一致:用不上索引。
|
||||
- `SELECT COUNT(*)` 统计总页数在大表上也很慢:可以显示“约 xx 条”,或缓存计数。
|
||||
- 导出在 HTTP 请求里同步完成:超时、占满连接。改为异步任务。
|
||||
- 归档用一条大 `DELETE`:长事务、锁、主从延迟。按主键范围分批删除。
|
||||
|
||||
## 面试怎么讲
|
||||
|
||||
> “列表接口深分页超时,慢查询日志里都是大 offset。原因是 LIMIT offset 要扫描并丢弃前面所有行。我把 App 和导出改成游标分页:传上一页最后一条的时间和 id,配合联合索引,每页耗时稳定;后台管理保留跳页,用延迟关联并限制最大页数;同时按时间归档一年前的数据,主表变小。”
|
||||
|
||||
追问准备:为什么要加 id?总数怎么显示?如果按多个字段排序怎么做游标(把所有排序字段都放进游标)?
|
||||
Reference in new issue
Block a user