高斯数据库关键技术原理与行业实践

本书详尽阐述了高斯数据库的系统架构、设计理念、核心技术、实现机制以及未来的发展方向。通过深入浅出的叙述，将技术理论与行业应用完美融合，为读者呈现如何实现数据库高性能、高可用、高扩展性、高智能和高安全的关键技术，并深度剖析其背后的优化动因与权衡。本书还介绍了数据库在实际场景中的系统调优思路和经验，为数据库从业人员提供有益参考。 此外，本书还详细介绍了高斯数据库在我国众多关键基础行业的成功应用案例，覆盖金融、政府（比如政务云、财政管理等）、制造业、卫生健康、电信、能源、水利、广播电视等领域，展示了其在实践中的强大功能和广泛影响力。

李国良，清华大学教授，计算机系副主任，博士生导师，国家杰出青年科学基金获得者，IEEEFellow，openGauss社区技术委员会主席。在数据库领域会议和期刊上发表论文200余篇，他引15000余次，入选爱思唯尔2014-2022年中国高被引学者榜单。主持国家杰出青年基金、优秀青年基金、青年973、自然基金重点等项目。获得了VLDB2017EarlyCareerResearchContributionsAward（VLDB青年贡献奖，亚洲首位获奖者）、IEEETCDEEarlyCareerAward（IEEE数据工程领域杰出新人奖，亚洲首位获奖者）、青年长江学者、“万人计划”青年拔尖、计算机学会青年科学家奖、教育部新世纪优秀人才等奖项。担任VLDBJournal、IEEETKDE等编委，SIGMOD2021大会主席，VLDB2021Demo主席，ICDE2022IndustryChair,多次担任SIGMOD、VLDB、KDD、ICDE、WWW、IJCAI、AAAI等会议的程序委员会委员。

第1章 数据库关键挑战 1
1.1 数据库发展历程 1
1.1.1 数据库分类 1
1.1.2 数据库架构 3
1.2 数据库最新演进趋势 5
1.2.1 云原生数据库 5
1.2.2 AI-Native 智能数据库 8
1.2.3 全密态数据库 9
1.2.4 端边云数据管理 9
1.2.5 其他技术研究热点 10

第2章 GaussDB 架构介绍 13
2.1 GaussDB 关键架构目标 13
2.2 GaussDB 分布式架构 14
2.2.1 GaussDB 分布式关键技术架构 14
2.2.2 关键模块2 层逻辑模型 17
2.3 GaussDB 分布式关键技术方案 20
2.3.1 数据计算路由层（Coordinator）关键技术方案 20
2.3.2 数据持久化存取层（Datanode）关键技术方案 26
2.3.3 全局事务管理层（GTM）关键技术方案 27
2.3.4 集群管理层（CM）关键技术方案 28
2.3.5 集群管理仲裁关键技术 30
2.3.6 故障检查与异常发现 31
2.3.7 基于Paxos 协议复制实现DN 副本自仲裁 31
2.4 OM 运维管理关键技术方案 32
2.5 安全关键技术方案 33
2.5.1 安全关键技术一：密态等值查询 33
2.5.2 安全关键技术二：防篡改数据库 34
2.6 智能关键技术方案 36
2.6.1 智能关键技术一：自治运维系统 36
2.6.2 智能关键技术二：库内AI 引擎 39
2.6.3 智能关键技术三：智能优化器 40
2.7 驱动接口关键技术方案 41
2.8 GaussDB 云原生架构 41
2.8.1 云原生关键技术架构 41
2.8.2 云原生核心技术 43

第3章 数据库高性能关键技术 58
3.1 数据库性能优化概述 58
3.1.1 数据库的软件栈视角 58
3.1.2 从系统性工程视角理解性能优化 59
3.1.3 性能工程复杂并充满挑战 60
3.1.4 性能相关的术语 61
3.2 查询处理技术 62
3.2.1 查询处理流程 62
3.2.2 查询解析器 62
3.2.3 查询优化器 63
3.2.4 查询执行器 64
3.2.5 分布式执行 67
3.2.6 存储引擎数据读取 68
3.3 高性能关键技术 71
3.3.1 查询重写RBO 71
3.3.2 物理优化CBO 74
3.3.3 分布式优化器 74
3.3.4 分布式执行框架 75
3.3.5 轻量全局事务管理GTM-lite 77
3.3.6 UStore 存储引擎 78
3.3.7 计划缓存技术 79
3.3.8 数据分区与分区剪枝 80
3.3.9 列式存储和向量化引擎 82
3.3.10 SMP 并行执行 85
3.3.11 LLVM 动态查询编译执行 87
3.3.12 SQL-BY-PASS 执行优化 88
3.3.13 线程池化 89
3.3.14 多核处理器优化 90
3.3.15 日志无锁刷新与多级流水 91
3.4 高斯数据库性能优化总结 93

第4章 数据库高可用关键技术 95
4.1 分布式一致性框架 95
4.1.1 共识框架概述 95
4.1.2 DCF 功能架构 96
4.1.3 DCF 选举流程及优化 96
4.1.4 DCF 日志复制流程 97
4.1.5 DCF 优先级选主和策略化多数派 97
4.1.6 DCF 性能设计 98
4.1.7 DCF 日志与XLog 日志合一设计 99
4.1.8 DCF 异常场景处理 100
4.2 双集群容灾 101
4.3 逻辑复制 102
4.3.1 基本概念 103
4.3.2 逻辑复制槽 104
4.3.3 逻辑解码 105
4.3.4 备机解码 106
4.3.5 并行解码 107
4.3.6 一致性解码 107
4.3.7 分布式解码 109
4.4 两地三中心跨Region 容灾 110
4.4.1 两地三中心容灾概述 110
4.4.2 异地容灾部署示例 111
4.4.3 两地三中心容灾方案设计 112
4.4.4 容灾搭建 113

第5章 数据库高弹性关键技术 125
5.1 数据库弹性扩容 125
5.2 Hashbucket 扩容 127
5.2.1 Hashbucket 概念 127
5.2.2 段页式存储技术 129
5.2.3 基于段页式组织的Hashbucket 技术 133
5.2.4 Hashbucket 场景的超长字段实现 134
5.2.5 CBI 索引加速 136
5.2.6 支持Hashbucket 的优化器 138
5.2.7 支持Hashbucket 的执行器 140
5.2.8 Hashbucket 扩容流程 142
5.2.9 扩容中日志多流 149
5.2.10 扩容中事务处理 153
5.2.11 扩容中bucket 锁 156
5.3 扩容实践 157
5.3.1 扩容步骤 157
5.3.2 扩容期间的TPC-C 测试 158
5.3.3 扩容期间的sysbench 测试 159

第6章 数据库高智能关键技术 161
6.1 数据库智能化发展史 161
6.2 自治运维技术 162
6.2.1 智能监测 164
6.2.2 趋势预测 165
6.2.3 异常检测 167
6.2.4 日志分析 170
6.2.5 慢SQL 发现 173
6.2.6 慢SQL 诊断 175
6.2.7 集群故障根因诊断 178
6.2.8 索引推荐 182
6.2.9 分布键推荐 185
6.2.10 参数调优 188
6.3 库内AI 引擎 189
6.3.1 机器学习算法的训练和推理 190
6.3.2 模型管理 198
6.3.3 数据集管理 201
6.4 智能优化器 206
6.4.1 智能基数估计 207
6.4.2 智能计划管理 211
6.4.3 反馈自适应优化器 214

第7章 数据库高安全关键技术 215
7.1 安全整体架构 215
7.2 安全接入 217
7.2.1 身份标识 217
7.2.2 口令存储 218
7.2.3 认证机制 220
7.2.4 Kerberos 安全认证 222
7.2.5 国密SSL 加密传输 224
7.3 角色与权限 225
7.3.1 对象权限管理 225
7.3.2 角色管理 226
7.3.3 系统权限管理 228
7.3.4 系统权限检查 228
7.3.5 基于标签的强制访问控制 230
7.4 审计追踪 235
7.4.1 传统审计 235
7.4.2 统一审计 238
7.5 数据保护 242
7.5.1 动态数据脱敏 242
7.5.2 透明数据加密 251
7.6 全密态数据库 260
7.6.1 软硬融合全密态 262
7.6.2 端侧加密引擎 263
7.6.3 端侧密钥管理 264
7.6.4 轻量化语法解析 266
7.7 防篡改数据库 267
7.7.1 防篡改用户表结构 267
7.7.2 用户历史表 268
7.7.3 全局区块表结构 269
7.7.4 篡改校验算法 269

第8章 GaussDB 易迁移关键技术 271
8.1 数据库迁移概述 271
8.2 数据库迁移预评估阶段 271
8.2.1 源数据库与新数据库的主要差异评估 271
8.2.2 新数据库兼容性评估 277
8.2.3 迁移必要性评估 277
8.3 规划设计 278
8.3.1 业务与数据库适配规划设计 278
8.3.2 迁移步骤与迁移计划的规划设计 278
8.4 业务改造与测试 280
8.4.1 业务改造过程 280
8.4.2 业务测试过程 280
8.5 数据迁移 281
8.5.1 数据迁移设计 281
8.5.2 数据迁移执行过程 282
8.6 上线割接 283
8.6.1 割接演练 283
8.6.2 正式割接 283
8.7 经验总结 283

第9章 GaussDB 性能调优指南 285
9.1 单SQL 性能调优 285
9.1.1 表结构设计 285
9.1.2 索引设计 288
9.1.3 SQL 设计 289
9.1.4 执行计划 290
9.1.5 硬件资源 295
9.2 并发场景性能调优 295
9.2.1 业务侧瓶颈 295
9.2.2 不优的SQL 296
9.2.3 并发时的锁等待 299
9.2.4 硬件资源满 300
9.2.5 数据库参数配置 301
9.3 性能调优案例 301
9.3.1 案例1：避免对条件列做处理（防止列的隐式转换、函数处理） 301
9.3.2 案例2：选择合理的组合索引列顺序 304
9.3.3 案例3：选择合适的分布列 305
9.3.4 案例4：增加join 列非空条件 307
9.3.5 案例5：合理使用分区表 309
9.3.6 案例6：改写SQL 消除子查询 310
9.3.7 案例7：调整查询重写GUC 参数rewrite_rule 311
9.3.8 案例8：使用DN Gather 减少计划中的Stream 节点 320
9.3.9 案例9：通过监控平台进行慢SQL 诊断 335
9.3.10 案例10：通过等待事件分析瓶颈 336
9.3.11 案例11：避免长事务影响性能 336
9.3.12 案例12：通过归一化视图分析硬解析耗时场景 337
9.3.13 案例13：业务并发异常时段CPU 冲高问题分析 338
9.3.14 案例14：通过分析计划调整内存参数避免临时文件落盘 339
9.3.15 案例15：调整表的Vacuum 参数优化查询性能 340

第10章 高斯数据库行业实践 341
10.1 金融行业 341
10.1.1 金融行业数据库现状 341
10.1.2 金融案例：邮政储蓄银行核心系统国产化转型实践 342
10.1.3 金融案例：华夏银行借记卡系统国产化改造实践 346
10.1.4 金融案例：农业发展银行信贷系统转型建设实践 347
10.1.5 金融案例：NY 银行GaussDB 国产化转型实践 347
10.2 政府行业 348
10.2.1 政府行业数据库现状 348
10.2.2 政府案例：陕西财政云系统国产数字化转型建设 349
10.2.3 政府案例：贵州人社就业系统国产化转型实践 350
10.3 制造行业 352
10.3.1 制造行业数据库现状 352
10.3.2 制造业案例：华为MetaERP 数字化转型实践 353
10.3.3 制造业案例：京东云openGauss 实现混合多云场景元数据存储安全创新 355
10.3.4 制造业案例：openGauss 支撑比亚迪制造核心系统升级，性能整体提升50% 356
10.4 卫生健康行业 357
10.4.1 卫生健康行业数据库现状 357
10.4.2 卫生健康案例：贵州省医学检查检验结果共享交换平台转型实践 358
10.4.3 openGauss 助力南京市卫生信息中心医疗行业信息化升级 358
10.5 电信行业 359
10.5.1 电信行业数据库现状 359
10.5.2 电信案例：中国移动在线基于openGauss 的数据库自主创新替代实践 360
10.5.3 电信案例：openGauss 助力中国联通实现运营商资源可视化系统升级改造 361
10.5.4 电信案例：openGauss 助力浙江移动营销系统执行中心国产化转型实践 362
10.6 公路水运行业 363
10.6.1 公路水运行业数据库现状 363
10.6.2 公路水运案例：山东烟台港数字化管控平台建设实践 364
10.6.3 公路水运案例：某交建保障数据安全，构建专属数据支撑底座 365
10.7 能源行业 366
10.7.1 能源行业数据库现状 366
10.7.2 能源业案例：国网陕西用户用电信息采集系统升级改造 367
10.8 水利行业 369
10.8.1 水利行业数据库现状 369
10.8.2 水利案例：徐州智慧水利系统数字化转型实践 370
10.9 广电行业 372
10.9.1 广电行业数据库现状 372
10.9.2 广电案例：央广网国产数据库平滑迁移，综合性能提升30% 373
10.10 教育行业 374
10.10.1 教育行业数据库现状 374
10.10.2 教育案例：学生发展中心学籍学历信息管理平台去O 验证实践 374
10.11 其他行业 376
10.11.1 民航行业数据库现状 376
10.11.2 邮政行业数据库现状 377
10.11.3 铁路行业数据库现状 378