阶段4(下):LangChain 1.x、提示词与注入防护、模型侧(路由/vLLM/LoRA)、AI 编程工具与验证、Dify/Coze 专题
This commit is contained in:
1 parent
caaec830b3
commit
7a32d2c9a6
38 files changed
+3059
-67
No files matched your search
@@ -1,15 +1,44 @@
|
||||
---
|
||||
id: ai.llm-serving.index
|
||||
title: 模型接入与部署(了解级)
|
||||
title: 模型侧基础(了解级)
|
||||
type: index
|
||||
domain: ai
|
||||
stack: [llm-serving]
|
||||
tags: []
|
||||
tags: [多模型路由, vLLM, LoRA, 微调, 模型网关]
|
||||
week: [10, 13]
|
||||
---
|
||||
|
||||
# 模型接入与部署(了解级)
|
||||
# 模型侧基础(了解级)
|
||||
|
||||
多模型 API 路由与降级、vLLM 部署基础、LoRA / QLoRA 概念。
|
||||
BOSS直聘 2026-10-23 的调研中约 7 个岗位提到 LoRA / 微调,也有岗位要求多模型接入和 vLLM 部署。本专题定位**了解级**:会多模型接入和降级(这是应用开发每天要做的),能讲清楚 vLLM 和 LoRA 的原理与取舍,不展开模型训练,避免偏离主线。
|
||||
|
||||
> 本专题建设中:课程、企业场景、面试题和示例代码会陆续补充。
|
||||
## 学习路线
|
||||
|
||||
| 顺序 | 课程 | 级别 | 预计 |
|
||||
| --- | --- | --- | --- |
|
||||
| 1 | [模型侧基础:多模型接入和路由、vLLM 部署、LoRA / QLoRA 概念](01-routing-vllm-lora.md) | 进阶 | 3 小时 |
|
||||
|
||||
## 企业场景
|
||||
|
||||
- [公司级大模型网关:多厂商路由、配额、敏感数据走内网模型](scenarios/multi-provider-gateway.md)
|
||||
|
||||
## 面试题
|
||||
|
||||
- [模型侧面试题(了解级)](interview.md)
|
||||
|
||||
## 示例代码
|
||||
|
||||
- [examples/model-router](examples/model-router/):按任务路由、限流退避重试、超时切换、熔断、备用模型降级、成本台账(只用标准库)
|
||||
|
||||
## 在 16 周计划中
|
||||
|
||||
- [第 10 周](../../../plan/week10-agent-m1-tools-mcp.md)、[第 13 周](../../../plan/week13-agent-m4-eval-lowcode.md)
|
||||
|
||||
## 官方资料
|
||||
|
||||
以官方文档为准:
|
||||
|
||||
- vLLM:https://docs.vllm.ai/
|
||||
- LoRA 论文:https://arxiv.org/abs/2106.09685 ;QLoRA 论文:https://arxiv.org/abs/2305.14314
|
||||
- Hugging Face PEFT:https://huggingface.co/docs/peft
|
||||
- LiteLLM:https://docs.litellm.ai/
|
||||
Reference in new issue
Block a user