DEEPSEEK图解：大模型是怎样构建的

（1）图解奥义 ：思维导图详解大模型构建之道，开启AI智能新时代
（2）全面覆盖：从文本预处理到知识库系统，全链路解析DeepSeek核心技术
（3）实战演练：理论与实战交织，深度剖析大模型构建的关键环节
（4）聚焦未来：聚焦Transformer、多模态与MoE，助你掌握未来智能发展的密码

本书是一本系统讲解DeepSeek开发的技术指南，传授大家开发DeepSeek模型的基础知识。旨在帮助读者深入理解DeepSeek的工作机制，并掌握其在大规模预训练、推理优化及应用开发中的关键技术。
全书共10章，依次介绍文本预处理、特征提取、文本分类与情感分析、语言的生成、机器翻译、DeepSeek的核心Transformer模型、多模态模型的架构和训练、预训练模型的训练与微调、DeepSeek API应用开发实战，以及基于DeepSeek的Web知识库系统。
本书不仅适合对大模型感兴趣的技术人员阅读，也适合人工智能研究者、开发者及行业从业者等阅读。

张治政
----------------------------
张治政，中国海洋大学计算机硕士，哈尔滨工业大学通信博士，百度云研发工程师，百度大模型工程师，在大规模机器学习、深度学习、数据搜索、行业垂直应用、研发管理等领域拥有丰富经验。在企业智能化转型、业务线上化经营、拥有丰富的大规模搜索架构、个性化推荐架构、机器学习系统架构经验和技术团队管理经验。现在从事城市大数据中心的开发和建设工作，将深度学习运用到数字经济等领域。

薛栋
----------------------------
薛栋，华东理工大学信息科学与技术学院副教授、硕士生导师，德国慕尼黑工业大学工学博士，上海市高层次青年人才计划上海市浦江人才计划获得者。所在的X-D Lab（心动实验室）致力于人工智能技术的探索与研究，已发布多个垂直领域的大模型项目，包括心理领域的MindChat（漫谈）、医疗领域的 Sunsimiao（孙思邈）、教育领域的 GradChat（锦鲤）。

公鑫
----------------------------
公鑫，东南大学副教授，香港大学控制工程专业博士，研究领域主要聚焦集群智能，包括分布式控制、估计与优化、基于分布式估计和数字孪生的复合网络攻击与防御等。现任中国指挥与控制学会高级会员和青工委委员、中国自动化学会会员、中国计算机学会会员和网络弹性专委会委员、IEEE Member，并在多个国际期刊和会议上担任审稿人和分会场主席，曾获多项杰出审稿人奖。

目录
第1章 明月松间照，清泉石上流：文本预处理
1.1？ 分词
1.1.1 分词的重要性和基本原理
1.1.2 基于空格的分词
1.1.3 基于标点符号的分词
1.2？ 词干化与词形还原
1.2.1 词干化与词形还原的区别
1.2.2 词干化
1.2.3 词形还原
1.3？ 去除停用词
1.3.1 什么是停用词
1.3.2 基于词汇列表的去除
1.3.3 基于词频的去除
1.3.4 TF-IDF 方法去除
1.3.5 机器学习方法去除
1.4？ 数据清洗和处理
1.4.1 处理缺失值
1.4.2 异常值检测与处理
1.4.3 处理重复数据
第2章 大音希声，大象无形：特征提取
2.1？ 特征提取介绍
2.1.1 特征在大模型中的关键作用
2.1.2 特征提取与数据预处理的关系
2.2？ 特征选择
2.2.1 特征选择的必要性
2.2.2 特征选择的方法
2.3？ 特征抽取
2.3.1 特征抽取的概念
2.3.2 主成分分析
2.3.3 独立成分分析
2.3.4 自动编码器
2.4？ 嵌入
2.4.1 嵌入介绍
2.4.2 使用嵌入层进行特征提取
2.4.3 Word2Vec 模型
2.4.4 GloVe 模型
2.5？ 词袋模型
2.5.1 实现词袋模型的步骤
2.5.2 词袋模型的限制与改进
2.6？ TF-IDF 值
2.6.1 什么是 TF-IDF
2.6.2 使用 TF-IDF 方法提取文本特征
2.6.3 TF-IDF 方法与词袋模型的比较
第3章 人有悲欢离合，月有阴晴圆缺：文本分类与情感分析
3.1？ 朴素贝叶斯分类器
3.1.1 朴素贝叶斯分类器的基本概念
3.1.2 朴素贝叶斯分类器的应用场景
3.2？ 支持向量机
3.2.1 SVM 介绍
3.2.2 线性 SVM 与非线性 SVM
3.3？ 随机森林
3.3.1 随机森林介绍
3.3.2 随机森林的应用场景
3.4？ 卷积神经网络
3.4.1 CNN 的发展背景
3.3.2 CNN 的结构
3.3.3 文本特征提取与分类
3.5？ 循环神经网络
3.5.1 循环神经网络介绍
3.5.2 使用 TensorFlow 框架制作情感分析模型
3.6？ 递归神经网络
3.6.1 递归神经网络的主要特点
3.6.2 RvNN
第4章 白日依山尽，黄河入海流：语言的生成
4.1？ 基于规则的生成
4.1.1 基于规则的生成方法介绍
4.1.2 基于规则的生成方法在 NLP 中的应用场景
4.2？ 基于统计的生成
4.2.1 基于统计的生成方法介绍
4.2.2 N-gram 模型
4.2.3 隐马尔可夫模型
4.2.4 最大熵模型
4.3？ 基于神经网络的生成
4.3.1 基于神经网络的生成方法
4.3.2 生成对抗网络
4.4？ 注意力机制
4.4.1 注意力机制介绍
4.4.2 注意力机制的变体
4.5？ 序列到序列模型
4.5.1 Seq2Seq 模型介绍
4.5.2 使用 Seq2Seq 模型实现翻译系统
第5章 海内存知己，天涯若比邻：机器翻译
5.1？ 统计机器翻译
5.1.1 SMT 介绍
5.1.2 SMT 模型
5.1.3 SMT 的训练和解码
5.2？ 神经机器翻译
5.2.1 NMT 的特点和工作流程
5.2.2 NMT 的训练和解码
5.2.3 基于 NMT 的简易翻译系统
第6章 会当凌绝顶，一览众山小：DeepSeek 的核心 Transformer 模型
6.1？ Transformer 模型介绍
6.1.1 Transformer 模型的基本概念
6.1.2 Transformer 模型的优势
6.1.3 Transformer 模型的核心组件
6.1.4 机器翻译任务中的 Transformer 模型
6.2？ 多头注意力机制和多头潜在注意力
6.2.1 多头注意力机制
6.2.2 多头潜在注意力
6.3？ 混合专家架构
6.3.1 MoE 架构介绍
6.3.2 MoE 架构的特点
6.3.3 MoE 架构的应用
6.3.4 DeepSeek 中的 MoE 架构介绍
第7章 大漠孤烟直，长河落日圆：多模态模型的架构和训练
7.1？ 多模态技术简介
7.1.1 多模态介绍
7.1.2 多模态技术的发展历史
7.2？ DeepSeek 的多模态大模型
7.2.1 DeepSeek 多模态大模型的发展历程
7.2.2 架构介绍
7.2.3 多模态理解
7.2.4 视觉生成路径
7.2.5 自回归 Transformer 模型
7.2.6 三阶段训练策略
7.3？ 训练策略
7.3.1 多任务学习
7.3.2 全量微调
7.3.3 对比学习
7.3.4 参数高效微调
7.3.5 迁移学习
7.3.6 人类反馈强化学习
7.3.7 动态学习率调整
7.3.8 监督微调
第8章 学而时习之，不亦说乎：预训练模型的训练和微调
8.1？ 预训练模型的训练和微调介绍
8.1.1 预训练
8.1.2 微调
8.1.3 预训练与微调的对比
8.2？ CLIP 模型的微调
8.2.1 实例介绍
8.2.2 创建文本和图像配对数据集
8.2.3 创建模型
8.2.4 训练模型
8.2.5 模型微调
8.2.6 调试运行
8.3？ 使用 KTO 微调 DeepSeek-R1-Distill Qwen 模型
8.3.1 KTO 的概念
8.3.2 DeepSeek-R1-Distill-Qwen 模型介绍
8.3.3 具体实现
第9章 千帆过尽，始见真章：DeepSeek API 应用开发实战
9.1？ DeepSeek API 开发基础
9.1.1 DeepSeek API 介绍
9.1.2 DeepSeek API 基本教程
9.1.3 基于 DeepSeek API 的对话应用程序
9.2？ DeepSeek 的基本接入实战
9.2.1 Chatbox 接入实战
9.2.2 NextChat 接入实战
9.3？ 社交媒体工具接入实战
9.3.1 基于 DeepSeek 的微信聊天 机器人
9.3.2 基于 DeepSeek 的 QQ 机器人
9.4？ 将 DeepSeek 接入到 Office
9.4.1 OfficeAI 介绍
9.4.2 在 Word 中应用 DeepSeek
9.4.3 在 Excel 中应用 DeepSeek
9.5？ 将 DeepSeek 接入 VS Code
9.5.1 Continue 插件基础
9.5.2 将 DeepSeek 接入 VS Code 316
9.5.3 调用 DeepSeek 生成代码
9.5.4 DeepSeek 代码生成和补全
第 10 章 纸上得来终觉浅，绝知此事要躬行：基于 DeepSeek 的 Web 知识库系统
10.1？ 项目介绍
10.1.1 背景介绍
10.1.2 市场需求
10.1.3 主要功能
10.1.4 技术栈
10.2？ 配置文件和基础工具函数
10.2.1 导航栏配置
10.2.2 基础工具函数
10.2.3 API 交互工具函数
10.3？ 组件
10.3.1 页面布局组件
10.3.2 聊天组件
10.4？ 调试运行