大模型应用开发

本书系统梳理大模型应用开发的全链条知识，详解大模型应用开发过程中涉及的理论、技术、方法、过程、工具和分析案例，为开发者搭建从理论到实践的桥梁，助力解决技术落地中的实际问题，推动大模型在工业、科研、服务等领域的规模化应用，配套示例源码、PPT课件、配图PDF文件、读者微信交流群。《大模型应用开发》共分12章，内容包括大模型基础、大模型架构、多模态大模型、提示词工程、大模型微调、检索增强生成、AI智能体、大模型应用、大模型应用架构、大模型开发框架、法律咨询智能助手、代码修复智能助手。《大模型应用开发》既适合大模型应用开发初学者、大模型应用开发工程师、大模型应用开发研究人员、行业AI解决方案提供商，也适合高等院校及高职高专院校学习大模型应用开发的学生。

第1章 大模型基础 1

1.1 语言模型基础 1

1.1.1 基于统计方法的语言模型 2

1.1.2 基于循环神经网络的语言模型 5

1.1.3 基于Transformer架构的语言模型 10

1.2 大模型发展历史 14

1.2.1 统计语言模型奠基期 14

1.2.2 神经网络语言模型探索期 15

1.2.3 Transformer架构革命期 15

1.2.4 大模型爆发增长期 15

1.3 大模型的特点 18

1.3.1 大模型的快思慢考 18

1.3.2 大模型的优势与不足 20

1.4 大模型行业应用场景中的优势与挑战 21

1.4.1 教育领域：智能教育的革新与困境 21

1.4.2 医疗领域：精准医疗的希望与隐忧 22

1.4.3 金融领域：智能金融的变革与挑战 22

1.4.4 电商领域：智能营销的机遇与难题 23

1.5 本章小结 23

1.6 参考文献 24

第2章 大模型架构 28

2.1 Encoder-Only架构 28

2.1.1 BERT模型 29

2.1.2 RoBERTa模型 33

2.1.3 ALBERT模型 34

2.1.4 ELECTRA语言模型 34

2.2 Decoder-Only架构 35

2.2.1 GPT系列语言模型 36

2.2.2 LLaMA模型 38

2.2.3 PaLM模型 39

2.3 Encoder-Decoder架构 40

2.3.1 T5模型 41

2.3.2 BART语言模型 43

2.3.3 GLM模型 45

2.3.4 Switch Transformer 46

2.4 编码器、解码器、编解码器架构对比 47

2.5 本章小结 49

2.6 参考文献 49

第3章 多模态大模型 53

3.1 多模态大模型基础 53

3.1.1 多模态大模型的定义与特征 54

3.1.2 多模态学习与单模态学习的区别 55

3.1.3 多模态大模型的基本架构 57

3.1.4 多模态对齐与融合技术简述 61

3.2 多模态大模型的发展历程 63

3.2.1 特征拼接与浅层交互模型阶段 63

3.2.2 融合与对齐阶段 64

3.2.3 大规模预训练阶段 64

3.2.4 通用多模态大模型阶段 65

3.3 多模态大模型介绍 66

3.3.1 CLIP 66

3.3.2 ALIGN 67

3.3.3 Flamingo 68

3.3.4 PaLI 69

3.3.5 BLIP2 70

3.3.6 LLaVA 71

3.3.7 VisCPM 72

3.3.8 ChatGPT-4V和GPT-4o 73

3.3.9 Qwen-VL和Qwen-VL-Max 74

3.3.10 Gemini+2.5 75

3.4 多模态大模型的应用场景 76

3.4.1 智能问答与对话系统 76

3.4.2 智能推荐与搜索 76

3.4.3 医疗影像与辅助诊断 77

3.4.4 内容生成与编辑 77

3.5 本章小结 77

3.6 参考文献 77

第4章 提示词工程 81

4.1 技术介绍 81

4.1.1 提示词工程的概念和作用 81

4.1.2 提示词应用示例 83

4.2 研究进展 85

4.2.1 零样本提示 86

4.2.2 少样本提示——以例示教的智慧 89

4.2.3 思维链提示 91

4.2.4 思维树——多路径探索的高级推理 93

4.2.5 检索增强生成——知识外挂的智能问答 95

4.2.6 ReAct框架——推理与行动的协同范式 98

4.3 框架对比 101

4.3.1 开源框架 101

4.3.2 商用框架 105

4.3.3 框架对比全景表 106

4.3.4 小结与展望 106

4.4 本章小结 107

4.5 参考文献 107

第5章 大模型微调 109

5.1 大模型微调基础 109

5.1.1 微调定义 109

5.1.2 微调分类 110

5.1.3 微调技术历史沿革 111

5.2 微调流程 113

5.2.1 数据集准备 114

5.2.2 模型初始化 114

5.2.3 训练环境配置 114

5.2.4 模型微调 115

5.2.5 评估验证 115

5.2.6 部署上线 116

5.2.7 监控维护 116

5.3 微调的主流平台和框架 116

5.3.1 Hugging Face Transformers 116

5.3.2 LLaMA-Factory 117

5.3.3 Unsloth 118

5.3.4 MS-SWIFT 119

5.3.5 百度千帆平台 120

5.3.6 阿里云PAI 121

5.3.7 讯飞星辰 122

5.3.8 对比分析 123

5.4 本章小结 126

5.5 参考文献 126

第6章 检索增强生成 129

6.1 概念与内涵剖析 129

6.1.1 RAG定义 130

6.1.2 关键组件与工作原理 130

6.1.3 与传统生成模型的区别与优势 132

6.1.4 应用领域与实际案例 133

6.2 技术演进与研究进展 134

6.3 相关商用与开源框架对比 140

6.3.1 LangFlow 141

6.3.2 LlamaIndex 142

6.3.3 Haystack 144

6.3.4 LangChain 145

6.3.5 Amazon Kendra 146

6.3.6 Google Cloud Search 148

6.3.7 框架优缺点对比 149

6.3.8 RAG框架总结 150

6.4 本章小结 150

6.5 参考文献 152

第7章 AI智能体 155

7.1 AI智能体的概念与内涵 156

7.1.1 AI智能体时代的开启 156

7.1.2 AI智能体的核心概念与特征 158

7.2 AI智能体核心技术与发展 161

7.2.1 智能体的构建：核心模块与基本架构 162

7.2.2 单智能体系统研究进展 167

7.2.3 多智能体系统研究进展 170

7.2.4 智能体的演进：自主优化与自我学习 175

7.3 智能体构建与实践 180

7.3.1 智能体构建框架的必要性与分类 180

7.3.2 LangGraph：基于图结构的Agent编排框架 181

7.3.3 AutoGen：多智能体协作的利器 183

7.3.4 CrewAI：通过协作提升团队效率 184

7.3.5 Dify：LLM应用一站式开发平台 185

7.3.6 n8n：强大的工作流自动化与集成工具 186

7.3.7 扣子：一站式AI Agent/Bot开发平台 188

7.3.8 框架对比 189

7.4 本章小结 192

7.5 参考文献 192

第8章 大模型应用 195

8.1 大模型应用概念解析 195

8.1.1 大模型应用的定义 195

8.1.2 与传统应用系统的比较分析 198

8.1.3 大模型应用内涵：基本结构与关键组件 201

8.1.4 大模型应用外延与分类视角 204

8.2 大模型应用范式 208

8.2.1 嵌入式 209

8.2.2 协同式 210

8.2.3 自主式 211

8.3 大模型应用开发流程 213

8.3.1 需求理解与问题建模 213

8.3.2 系统架构与模型接口设计 216

8.3.3 智能模块设计与行为调控 218

8.3.4 测试与质量评估 221

8.3.5 部署上线与模型服务策略 224

8.3.6 监控与运维反馈 227

8.4 大模型应用典型产品 232

8.4.1 智能检索工具 232

8.4.2 编程辅助与代码生成 235

8.4.3 文档处理与写作辅助 238

8.4.4 多模态内容生成 241

8.5 大模型应用面临的关键挑战 244

8.5.1 模型能力的不确定性与幻觉问题 244

8.5.2 交互控制与响应可解释性 246

8.5.3 安全性、合规性与伦理问题 247

8.5.4 应用部署的资源与算力瓶颈 249

8.6 本章小结 251

8.7 参考文献 252

第9章 大模型应用架构 255

9.1 大模型应用架构概述 255

9.2 大模型应用架构层次 256

9.3 基础设施层和运行环境层 258

9.3.1 基础设施层 259

9.3.2 运行环境层 259

9.4 数据层 260

9.4.1 核心组件 260

9.4.2 管理和支撑机制 261

9.5 模型层 261

9.5.1 大模型 262

9.5.2 向量模型 263

9.5.3 重排序模型 265

9.5.4 图像识别模型 267

9.5.5 语言-语言模型 268

9.5.6 模型微调 272

9.6 推理部署层 273

9.7 能力层 275

9.7.1 流程控制 275

9.7.2 核心功能 276

9.8 安全层 278

9.9 应用层 279

9.9.1 智能问答 280

9.9.2 智能运维 280

9.9.3 智能客服 280

9.9.4 数字员工 281

9.10 本章小结 281

9.11 参考文献 282

第10章 大模型开发框架 284

10.1 开发框架整体结构 284

10.2 数据层 286

10.2.1 向量数据库 287

10.2.2 文档解析引擎 298

10.2.3 数据处理工具 303

10.3 模型层 304

10.3.1 开源模型 305

10.3.2 微调技术栈 307

10.4 推理层 313

10.4.1 推理引擎 314

10.4.2 本地化部署 319

10.5 工具链层 323

10.5.1 开发框架 325

10.5.2 增强组件 329

10.6 接口层 331

10.6.1 API网关 332

10.6.2 通信协议 333

10.7 应用层 336

10.7.1 低代码开发平台 337

10.7.2 具体开发平台 338

10.8 本章小结 342

10.9 参考文献 342

第11章 法律咨询智能助手 345

11.1 需求分析 345

11.2 系统架构 346

11.2.1 系统功能模块 346

11.2.2 系统架构设计 347

11.3 关键技术 348

11.3.1 法规文档预处理 348

11.3.2 自动构建法律法规知识图谱 349

11.3.3 案例特征要素提取 351

11.3.4 实体对齐 352

11.3.5 法条检索 352

11.3.6 法条检查 353

11.3.7 历史案例库构建算法 354

11.3.8 案件审理结构化报告生成 356

11.4 系统实现 357

11.4.1 法规文档预处理的实现 357

11.4.2 自动构建法律法规知识图谱的实现 358

11.4.3 案例特征要素提取的实现 364

11.4.4 实体对齐的实现 365

11.4.5 法条检索的实现 367

11.4.6 法条检查的实现 369

11.4.7 历史案例库构建算法的实现 372

11.4.8 案件审理结构化报告生成 373

11.5 本章小结 374

11.6 参考文献 374

第12章 代码修复智能助手 376

12.1 需求分析 376

12.2 系统架构 378

12.2.1 业务架构 378

12.2.2 技术架构 381

12.3 关键技术 383

12.3.1 代码问题精确定位技术 384

12.3.2 深度代码语义理解技术 385

12.3.3 多模态信息智能融合技术 386

12.3.4 增量学习与知识迁移技术 387

12.3.5 基于强化学习的修复策略优化技术 388

12.3.6 智能代码生成技术 389

12.3.7 基于程序分析的漏洞检测技术 389

12.4 系统实现 390

12.4.1 Issue智能解析模块 390

12.4.2 代码依赖关系分析模块 392

12.4.3 智能修复策略生成模块 395

12.4.4 自动化测试验证模块 396

12.4.5 持续学习与优化模块 397

12.5 本章小结 399

12.6 参考文献 400