阶段4(下):LangChain 1.x、提示词与注入防护、模型侧(路由/vLLM/LoRA)、AI 编程工具与验证、Dify/Coze 专题

This commit is contained in:
Shikui Wang committed 2026-10-23 16:15:33 +08:00
1 parent caaec830b3
commit 7a32d2c9a6
38 files changed
+3059 -67

No files matched your search

+34 -5
View File
@@ -1,15 +1,44 @@
---
id: ai.llm-serving.index
title: 模型接入与部署(了解级)
title: 模型侧基础(了解级)
type: index
domain: ai
stack: [llm-serving]
tags: []
tags: [多模型路由, vLLM, LoRA, 微调, 模型网关]
week: [10, 13]
---
# 模型接入与部署(了解级)
# 模型侧基础(了解级)
多模型 API 路由与降级、vLLM 部署基础、LoRA / QLoRA 概念。
BOSS直聘 2026-10-23 的调研中约 7 个岗位提到 LoRA / 微调,也有岗位要求多模型接入和 vLLM 部署。本专题定位**了解级**:会多模型接入和降级(这是应用开发每天要做的),能讲清楚 vLLM 和 LoRA 的原理与取舍,不展开模型训练,避免偏离主线。
> 本专题建设中:课程、企业场景、面试题和示例代码会陆续补充。
## 学习路线
| 顺序 | 课程 | 级别 | 预计 |
| --- | --- | --- | --- |
| 1 | [模型侧基础:多模型接入和路由、vLLM 部署、LoRA / QLoRA 概念](01-routing-vllm-lora.md) | 进阶 | 3 小时 |
## 企业场景
- [公司级大模型网关:多厂商路由、配额、敏感数据走内网模型](scenarios/multi-provider-gateway.md)
## 面试题
- [模型侧面试题(了解级)](interview.md)
## 示例代码
- [examples/model-router](examples/model-router/):按任务路由、限流退避重试、超时切换、熔断、备用模型降级、成本台账(只用标准库)
## 在 16 周计划中
- [第 10 周](../../../plan/week10-agent-m1-tools-mcp.md)、[第 13 周](../../../plan/week13-agent-m4-eval-lowcode.md)
## 官方资料
以官方文档为准:
- vLLM:https://docs.vllm.ai/
- LoRA 论文:https://arxiv.org/abs/2106.09685 ;QLoRA 论文:https://arxiv.org/abs/2305.14314
- Hugging Face PEFT:https://huggingface.co/docs/peft
- LiteLLM:https://docs.litellm.ai/