45 lines
1.5 KiB
Markdown
45 lines
1.5 KiB
Markdown
---
|
||
id: ai.llm-serving.index
|
||
title: 模型侧基础（了解级）
|
||
type: index
|
||
domain: ai
|
||
stack: [llm-serving]
|
||
tags: [多模型路由, vLLM, LoRA, 微调, 模型网关]
|
||
week: [10, 13]
|
||
---
|
||
|
||
# 模型侧基础（了解级）
|
||
|
||
BOSS直聘 2026-10-23 的调研中约 7 个岗位提到 LoRA / 微调，也有岗位要求多模型接入和 vLLM 部署。本专题定位**了解级**：会多模型接入和降级（这是应用开发每天要做的），能讲清楚 vLLM 和 LoRA 的原理与取舍，不展开模型训练，避免偏离主线。
|
||
|
||
## 学习路线
|
||
|
||
| 顺序 | 课程 | 级别 | 预计 |
|
||
| --- | --- | --- | --- |
|
||
| 1 | [模型侧基础：多模型接入和路由、vLLM 部署、LoRA / QLoRA 概念](01-routing-vllm-lora.md) | 进阶 | 3 小时 |
|
||
|
||
## 企业场景
|
||
|
||
- [公司级大模型网关：多厂商路由、配额、敏感数据走内网模型](scenarios/multi-provider-gateway.md)
|
||
|
||
## 面试题
|
||
|
||
- [模型侧面试题（了解级）](interview.md)
|
||
|
||
## 示例代码
|
||
|
||
- [examples/model-router](examples/model-router/)：按任务路由、限流退避重试、超时切换、熔断、备用模型降级、成本台账（只用标准库）
|
||
|
||
## 在 16 周计划中
|
||
|
||
- [第 10 周](../../../plan/week10-agent-m1-tools-mcp.md)、[第 13 周](../../../plan/week13-agent-m4-eval-lowcode.md)
|
||
|
||
## 官方资料
|
||
|
||
以官方文档为准：
|
||
|
||
- vLLM：https://docs.vllm.ai/
|
||
- LoRA 论文：https://arxiv.org/abs/2106.09685 ；QLoRA 论文：https://arxiv.org/abs/2305.14314
|
||
- Hugging Face PEFT：https://huggingface.co/docs/peft
|
||
- LiteLLM：https://docs.litellm.ai/
|