zhuangang/topics/ai/llm-serving/index.md

id, title, type, domain, stack, tags, week

id	title	type	domain	stack	tags	week
ai.llm-serving.index	模型侧基础（了解级）	index	ai	llm-serving	多模型路由 vLLM LoRA 微调 模型网关	10 13

模型侧基础（了解级）

BOSS直聘 2026-10-23 的调研中约 7 个岗位提到 LoRA / 微调，也有岗位要求多模型接入和 vLLM 部署。本专题定位了解级：会多模型接入和降级（这是应用开发每天要做的），能讲清楚 vLLM 和 LoRA 的原理与取舍，不展开模型训练，避免偏离主线。

学习路线

顺序	课程	级别	预计
1	模型侧基础：多模型接入和路由、vLLM 部署、LoRA / QLoRA 概念	进阶	3 小时

企业场景

• 公司级大模型网关：多厂商路由、配额、敏感数据走内网模型

面试题

• 模型侧面试题（了解级）

示例代码

• examples/model-router：按任务路由、限流退避重试、超时切换、熔断、备用模型降级、成本台账（只用标准库）

在 16 周计划中

• 第 10 周、第 13 周

官方资料

以官方文档为准：

• vLLM：https://docs.vllm.ai/
• LoRA 论文：https://arxiv.org/abs/2106.09685 ；QLoRA 论文：https://arxiv.org/abs/2305.14314
• Hugging Face PEFT：https://huggingface.co/docs/peft
• LiteLLM：https://docs.litellm.ai/