大模型全栈开发笔记 (LLM Full-Stack Engineering)#
从原理到实战,从微调到部署,构建属于你的 AGI 系统。
📚 目录大纲 (Syllabus)#
第一部分:大语言模型基础#
定位:小白入门,建立直觉。
- 第1章:初识大语言模型 - 能力边界与应用场景
- 第2章:与模型对话:提示工程基础 - Prompt Engineering 艺术
- 第3章:语言的基石:分词与嵌入 - Tokenizer & Embedding 原理
第二部分:Transformer 架构揭秘#
定位:白盒视角,理解模型内部运作机制。
- 第1章:Transformer 核心揭秘 - Attention Is All You Need
- 第2章:模型家族谱系 - BERT/GPT/T5 演变
- 第3章:预训练的奥秘 - Masked Language Modeling
第三部分:数据工程与定制化#
定位:微调的前置技能,数据决定上限。
- 第1章:数据工程基础 (⭐重点) - MinHash 去重、毒性检测
- 第2章:微调你的专属模型 - LoRA/QLoRA 高效微调
- 第3章:与人类对齐:偏好优化 (⭐核心) - DPO/KTO/RLHF 原理
- 第4章:创建更优的嵌入模型 - Embedding 微调
第四部分:大模型应用开发#
定位:构建由 LLM 驱动的复杂系统。
- 第1章:语义理解应用 - 文本分类与聚类实战
- 第2章:检索增强生成(RAG)原理 - 向量检索与知识库
- 第3章:智能体(Agent)核心机制 (⭐重构) - LangGraph, Multi-Agent, MCP
- 第4章:多模态大模型原理 - LLaVA, GPT-4V, CLIP
第五部分:工程实战工具栈#
定位:工欲善其事,必先利其器。
- 第1章:Hugging Face 生态全景 - Transformers / Datasets
- 第2章:微调神器:LLaMA-Factory - 零代码微调
- 第3章:强化学习神器:TRL 实战 - PPO/DPO 代码实战
- 第4章:分布式训练:DeepSpeed - Zero Stage 1/2/3
- 第5章:端到端 LLM 项目实战 - 综合案例
第六部分:生产部署与评估#
定位:从 Demo 到 Production 环境。
- 第1章:模型压缩与推理加速 - 量化 (GPTQ/AWQ)
- 第2章:高性能推理实战:vLLM - PagedAttention 原理
- 第3章:生产部署最佳实践 - 架构设计
- 第4章:模型评估体系 - LLM-as-a-Judge
第七部分:高级技术专题#
定位:探索 AI 边界,前沿技术专题。
- 第1章:长上下文技术 - RoPE, FlashAttention
- 第2章:新型架构探索 - Mamba (SSM), MoE
- 第3章:推理加速黑科技 (🔥热门) - Speculative Decoding, Medusa
- 第4章:推理模型专题 - CoT, MCTS, Reasoning Models
- 第5章:模型安全与可解释性 - Jailbreak, SAE
🗺️ 学习路线建议 (Learning Paths)#
👨💻 应用开发者 (Application Developer)#
目标:基于 LLM 构建应用 (Bot, RAG, Agent) 路线:P1 -> P4 (RAG/Agent) -> P6 (部署) -> P5 (HF使用)
🧪 模型算法工程师 (Model Engineer)#
目标:微调模型,优化性能 路线:P1 -> P2 (原理) -> P3 (数据/微调) -> P5 (工具栈) -> P4-Ch3 (对齐)
🧙♂️ 架构师/研究员 (Architect/Researcher)#
目标:探索前沿,设计系统 路线:P7 (全看) -> P3 (对齐) -> P4 (Agent) -> P5 (DeepSpeed)
🛠️ 环境准备#
# 基础环境
pip install transformers torch numpy pandas
# 进阶环境 (按需安装)
pip install vllm # 推理加速
pip install peft bitsandbytes #微调
pip install trl # 强化学习
pip install langgraph # Agent开发Created by Claude Code.