具体描述
算法与并行计算，ISBN：9787302290094，作者：（美）格巴里 著，都志辉 等译
《算法设计与数据结构：精要解析与实战应用》 在信息爆炸、计算需求日益增长的今天，高效、优雅的算法设计与数据结构知识，是每一位计算机科学从业者和研究者不可或缺的基石。本书旨在提供一套系统、深入且贴近实际的算法与数据结构学习指南，帮助读者构建坚实的理论基础，并掌握将这些理论应用于解决复杂工程问题的能力。 本书内容涵盖了从基础数据结构到高级算法的广泛领域，注重理论与实践的结合，力求让读者不仅理解“是什么”，更能领悟“为什么”以及“如何做”。我们不追求面面俱到，而是精选最核心、最实用、最能体现算法设计思想的知识点进行深入剖析。 第一部分：基础数据结构的构建与优化 在深入算法之前，牢固掌握基础数据结构是至关重要的。本部分将对常见的数据结构进行细致的讲解，并探讨其性能优化策略。 数组与链表： 作为最基本的数据结构，我们将深入探讨它们的内部实现机制、时间空间复杂度分析，并重点讲解动态数组（如 C++ 的 `std::vector` 和 Java 的 `ArrayList`）在内存管理和效率上的权衡，以及不同链表（单向、双向、循环）的应用场景和操作技巧。我们将分析在不同场景下选择数组还是链表的决策依据，以及它们在内存访问模式上的差异对性能的影响。 栈与队列： 这两种线性结构在事件驱动、任务调度等领域扮演着核心角色。本书将详细介绍基于数组和链表的栈与队列实现，并深入分析其在深度优先搜索（DFS）、广度优先搜索（BFS）、表达式求值、消息队列等经典应用中的作用。我们还会探讨循环队列的实现方式及其在固定大小缓冲区中的优势。 哈希表（散列表）： 作为实现近乎 O(1) 平均时间复杂度的查找、插入和删除操作的关键，哈希表的设计与实现是算法效率的保证。我们将详细讲解哈希函数的选择原则、冲突解决策略（如链地址法、开放寻址法）以及它们的优劣分析。本书还将探讨 C++ 的 `std::unordered_map` 和 Java 的 `HashMap` 等标准库实现，并给出一些实用的调优建议，例如如何选择合适的负载因子和哈希函数以避免性能骤降。 树形结构： 二叉树与二叉搜索树（BST）： 我们将从二叉树的基本概念入手，学习前序、中序、后序遍历的递归与非递归实现。重点在于二叉搜索树，深入分析其搜索、插入、删除操作的时间复杂度，并指出其在极端情况下的性能瓶颈。 平衡二叉搜索树： 为了克服 BST 的性能瓶颈，我们将详细介绍 AVL 树和红黑树。重点在于理解它们的平衡机制，如旋转操作（左旋、右旋、左右旋、右左旋）的原理和应用，以及它们在保证查找效率方面的理论基础。我们将展示如何在实际应用中实现这些自平衡操作，并分析它们在工程中的应用价值。 B 树与 B+ 树： 针对大规模数据的存储和检索，B 树和 B+ 树是不可或缺的。本书将详细讲解它们在磁盘 I/O 优化方面的设计思想，以及它们在数据库索引和文件系统中的核心作用。我们将分析 B 树和 B+ 树结构上的一些细微差别，以及这些差别如何影响其在不同场景下的检索效率。 堆（Heap）： 优先队列（Priority Queue）的核心实现，堆在任务调度、图算法（如 Dijkstra）和排序（堆排序）中发挥着重要作用。我们将深入讲解最大堆和最小堆的定义、构建（heapify）和维护操作，并分析其在 O(log n) 时间内进行插入和删除操作的原理。 图（Graph）： 作为描述实体之间关系的强大工具，图的遍历、查找和应用是算法设计的重要组成部分。我们将深入讲解图的表示方法（邻接矩阵、邻接表）及其优劣，并详细介绍深度优先搜索（DFS）和广度优先搜索（BFS）算法，分析它们在连通性判断、拓扑排序、最短路径初步探索等方面的应用。 第二部分：核心算法设计范式与技巧 掌握了基本的数据结构，我们就可以开始探索各种强大的算法设计范式，从而系统地解决更复杂的问题。 分治算法： 将一个大问题分解成若干个相互独立的子问题，然后递归地解决这些子问题，最后将子问题的解合并起来，形成原问题的解。我们将通过经典的例子，如归并排序、快速排序、矩阵乘法（Strassen 算法）、最近点对问题等，来深入理解分治法的思想及其应用。我们将详细分析分治法的递归关系式和时间复杂度分析方法。 动态规划（DP）： 针对具有重叠子问题和最优子结构性质的问题，动态规划可以避免重复计算，从而获得高效的解决方案。本书将系统介绍动态规划的基本思想，包括定义状态、写出状态转移方程，以及自底向上和自顶向下（带备忘录）的两种实现方式。我们将通过一系列经典 DP 问题，如 Fibonacci 数列、背包问题（0/1 背包、完全背包）、最长公共子序列（LCS）、最长递增子序列（LIS）、编辑距离等，来巩固读者对 DP 的理解。重点在于如何准确地识别问题中的最优子结构和重叠子问题，并构建出正确的状态转移方程。 贪心算法： 在每一步选择中都采取在当前状态下最好或最优的选择，从而希望导致结果是全局最好或最优的算法。我们将通过活动选择问题、霍夫曼编码、最小生成树（Prim、Kruskal 算法）等例子，来阐释贪心算法的设计思路。本书将着重分析贪心算法的正确性证明（通常需要证明局部最优选择能导出全局最优解），并探讨贪心算法适用的前提条件。 回溯算法与剪枝： 适用于解决搜索问题，特别是当问题的解空间很大时，回溯算法通过尝试所有可能的解决方案，并在发现当前路径不可能导致有效解时进行“剪枝”，从而减少搜索范围。我们将通过 N 皇后问题、数独求解、组合总和、子集生成等问题，来讲解回溯法的递归实现和剪枝策略。理解如何设计有效的剪枝条件是回溯算法效率的关键。 图算法： 最短路径算法： 针对带权图中两个节点之间或所有节点对之间的最短路径问题，我们将详细介绍 Dijkstra 算法（非负权边）和 Bellman-Ford 算法（可处理负权边，可检测负权环）。我们将深入分析它们的原理、时间复杂度，并探讨在不同应用场景下的选择。 最小生成树（MST）： 在连通无向图中，找到权值之和最小的生成树。我们将详细讲解 Prim 算法和 Kruskal 算法，分析它们的实现细节和时间复杂度，并探讨它们在网络构建、聚类分析等领域的应用。 拓扑排序： 针对有向无环图（DAG），找到一种满足所有边从源点指向目标点的线性序列。我们将介绍基于 DFS 和 Kahn 算法（入度计算）的拓扑排序方法，并分析其在任务调度、编译依赖等领域的应用。 强连通分量（SCC）： 在有向图中，找到相互之间可达的节点的最大集合。我们将介绍 Kosaraju 算法和 Tarjan 算法，分析它们的原理和实现方式。 第三部分：高级算法与计算理论基础 在掌握了常见算法设计范式后，本书还将触及一些更高级的算法概念和计算理论，以拓展读者的视野。 字符串匹配算法： 朴素匹配算法： 分析其 O(mn) 的时间复杂度。 KMP（Knuth-Morris-Pratt）算法： 深入讲解其利用前缀函数（next 数组）的思想，如何避免不必要的比较，实现 O(m+n) 的时间复杂度。 BM（Boyer-Moore）算法： 介绍其“坏字符”和“好后缀”规则，分析其在实际应用中通常比 KMP 更快的特性。 几何算法基础： 介绍一些基本的几何概念，如点、线段、多边形，以及一些基础的几何算法，如凸包（Graham 扫描法、Jarvis 步进法）和线段相交判断。 计算复杂度理论入门： 简要介绍 P 类、NP 类、NP-完全（NPC）和 NP-难（NP-hard）的概念，以及 NP-完全性证明的基本思路。我们将通过旅行商问题（TSP）、图着色问题等经典 NP-完全问题，来阐释其理论意义和实际挑战。 NP-完全问题的近似算法与启发式算法： 介绍如何针对 NP-完全问题设计近似算法或启发式算法，以在可接受的时间内获得足够好的解。 第四部分：算法分析与性能优化 算法的正确性固然重要，但其效率同样不可忽视。本部分将侧重于算法的分析方法和实际的性能优化技巧。 时间与空间复杂度分析： 详细讲解 Big O、Big Omega、Big Theta 符号的含义，以及如何分析递归和迭代算法的时间与空间复杂度。我们将通过大量的例子，让读者熟练掌握复杂度分析的技巧。 算法的优化策略： 数据结构的选择： 强调根据问题的特点选择最合适的数据结构，以优化时间或空间复杂度。 空间换时间： 探讨通过增加额外空间来换取更快的执行速度的策略。 预计算与缓存： 讲解如何通过预先计算或缓存中间结果来加速后续的查询。 位运算优化： 在某些场景下，巧妙运用位运算可以显著提高效率。 循环展开与函数内联： 简要介绍编译器优化的一些基本概念。 数值计算中的陷阱： 探讨浮点数精度问题、溢出问题以及如何避免数值稳定性差的计算。 实战应用与进阶探讨 理论学习的最终目的是为了解决实际问题。本书的每一章都会穿插或在章节末尾提供相应的实战练习题，涵盖不同难度级别。此外，我们还将探讨一些进阶话题，例如： 图论在实际中的应用： 如社交网络分析、路径规划、推荐系统等。 大数据处理中的算法： 如 MapReduce、Spark 中常用算法的思想。 机器学习中的基础算法： 如 K-Means 聚类、决策树等。 本书的特点： 循序渐进： 从最基础的概念讲起，逐步深入到更复杂的算法和理论。 理论与实践并重： 既有严谨的理论推导，又有丰富的代码示例和实战题目。 清晰的讲解风格： 力求用简洁明了的语言解释复杂的概念，配以直观的图示。 注重思维方式： 不仅教授“是什么”，更引导读者掌握“为什么”和“如何思考”来设计算法。 涵盖核心知识点： 精选了计算机科学领域最重要、最常考、最实用的算法与数据结构知识。 通过本书的学习，读者将能够： 准确地分析算法的效率。 熟练地运用常见的数据结构解决问题。 掌握多种经典算法的设计思想和实现方法。 提升解决复杂计算问题的能力。 为进一步学习更高级的计算机科学领域打下坚实的基础。 无论您是计算机科学专业的学生，还是希望提升编程技能的开发者，亦或是对算法世界充满好奇的研究者，本书都将是您宝贵的参考资料。让我们一同踏上这场探索算法奥秘的精彩旅程！
作者简介
目录信息
第1章 引言 1
1.1 概述 1
1.2 自动并行编程 1
1.3 算法 3
1.3.1 算法的有向图 3
1.3.2 算法的邻接矩阵A 4
1.3.3 基于子任务的依赖关系对算法进行分类 5
1.3.4 串行算法 6
1.3.5 并行算法 6
1.3.6 SPA 6
1.3.7 NSPA 7
1.3.8 RIA 8
1.3.9 并行算法实现 8
1.4 设计并行计算系统 9
1.5 并行算法和并行体系结构 10
1.6 并行算法与并行体系结构相关 10
1.7 算法的实现： 两个方面的问题 11
1.8 衡量并行计算的优势 11
1.8.1 加速比 11
1.8.2 通信开销 12
1.8.3 计算加速比和通信开销 12
1.9 针对多处理器系统的Amdahl法则 14
1.10 Gustafson-Barsis法则 15
1.11 并行计算的应用 16
1.11.1 气象建模 16
1.11.2 CT 17
1.11.3 计算机流体力学（CFD) 18
1.12 习题 18
第2章 增强单处理器的性能 21
2.1 概述 21
2.2 提高处理器的时钟频率 21
2.3 ALU的并行化 22
2.4 使用分级存储器体系 24
2.4.1 内存-高速缓存之间的操作252.4.2 高速缓存的设计 26
2.4.3 分层高速缓存 26
2.4.4 将内存块映射到高速缓存行 26
2.4.5 关联映射 27
2.4.6 组相关映射 28
2.4.7 缓存容量对缓存命中率的影响 28
2.5 流水线作业 28
估算流水线作业的速度 29
2.6 超长指令字（VLIW）处理器 32
2.7 指令级并行（ILP）和超标量处理器 33
2.7.1 真实数据依赖： 写后读（RAW) 34
2.7.2 程序的依赖关系 35
2.7.3 资源冲突 35
2.7.4 输出依赖性： 写后写（WAW) 35
2.7.5 反依赖： 读后写（WAR) 36
2.8 多线程处理器 36
2.9 习题 37
第3章 并行计算机 39
3.1 概述 39
3.2 并行计算 39
3.3 共享内存的多处理器（统一内存访问UMA) 40
3.4 分布式内存多处理器（非统一内存访问NUMA) 41
3.5 SIMD处理器 41
3.6 脉动式处理器 42
3.7 集群计算 44
3.8 网格计算（云计算） 44
3.9 多核系统 44
3.10 流多处理器 46
3.11 并行处理器之间的通信 48
3.11.1 通信类型 48
3.11.2 消息传递（MP）通信机制 49
3.12 并行体系结构总结 50
3.13 习题 50
第4章 共享内存多处理器 52
4.1 概述 52
4.2 高速缓存一致性和内存一致性 53
4.2.1 目录协议 56
4.2.2 Snoopy协议 57
4.3 同步和互斥 57
4.3.1 同步： 锁机制 58
4.3.2 同步： 互斥量 59
4.3.3 同步： 栅栏 60
4.3.4 同步原语的对比 61
4.4 习题 62
第5章 互连网络 63
5.1 概述 63
5.2 逻辑拓扑结构中互连网络的分类 63
5.2.1 总线型 63
5.2.2 星型 64
5.2.3 环型 64
5.2.4 网型 64
5.2.5 交叉开关网络 65
5.2.6 交叉开关网络的连接及仲裁 66
5.2.7 多级互连网络 66
5.2.8 榕树（Banyan）网络 66
5.2.9 树型网络 67
5.2.10 随机拓扑网络 68
5.3 互联网络交换架构 68
5.3.1 输入队列交换器 69
5.3.2 输出队列交换器 70
5.3.3 共享缓冲区交换器 71
5.3.4 多输入队列交换器 73
5.3.5 多输出队列交换器 73
5.3.6 多输入输出队列交换器 74
5.3.7 VRQ交换器 75
5.4 习题 76
第6章 并发平台 78
6.1 概述 78
6.2 并发平台 78
6.3 Cilk++ 78
6.3.1 Cilk++并行循环： cilk_for 79
6.3.2 数据竞争和程序不确定性 80
6.3.3 将串行代码并行化的Cilk++组件 82
6.3.4 使用Cilk++实现矩阵乘法 82
6.4 OpenMP 84
6.4.1 OpenMP编译指导语句 85
6.4.2 编译指导语句子句 86
6.4.3 OpenMP负载分配 87
6.4.4 循环指导语句： for 87
6.4.5 循环指导语句： sections 89
6.4.6 运行时库函数 90
6.4.7 环境变量 90
6.4.8 OpenMP同步 90
6.5 统一计算设备架构（CUDA) 91
6.5.1 定义CUDA中的线程、块和网格 93
6.5.2 将函数交付内核执行 94
6.5.3 主机与CUDA设备间的通信 95
6.5.4 CUDA线程的同步与通信 95
6.5.5 内核和网格 95
6.5.6 块 97
6.5.7 线程 97
6.5.8 CUDA C语言扩展 97
第7章 针对并行算法的特别技术 98
7.1 概述 98
7.2 定义算法变量 99
7.3 独立循环调度 99
7.4 依赖循环 100
7.5 针对简单依赖循环的循环分发方法 100
7.6 循环展开 101
7.7 问题划分 101
7.8 分而治之(递归划分)策略 102
7.9 流水线 104
7.10 习题 106
第8章 非串行-并行算法 107
8.1 概述 107
8.2 并行化用DAG表示的NSPA算法 108
8.3 分析NSPA的形式化方法 109
矩阵的幂的意义: 矩阵的连通性 110
8.4 辨别算法中的环 112
8.5 提取串行及并行算法的性能参数 113
8.6 相关定理 114
8.7 串行和并行算法在并行计算机上的性能 116
8.8 习题 116
第9章 z-变换分析 118
9.1 概述 118
9.2 z-变换的定义 118
9.3 一维有限脉冲响应滤波器算法 119
9.4 z-变换的软件硬件实现 119
9.5 设计1: 用霍纳法则实现广播输入管道输出 120
9.6 设计2: 管道输入广播输出 121
9.7 设计3: 管道输入管道输出 122
9.8 习题 123
第10章 依赖关系图分析 124
10.1 概述 124
10.2 一维有限冲击响应滤波算法 124
10.3 算法的依赖关系图 124
10.4 计算算法的依赖关系图 125
定义D中的变量 125
10.5 一维有限冲击响应滤波的调度函数 127
10.5.1 将依赖关系图转换为有向无环图或串行-并行算法 127
10.5.2 广播变量 128
10.5.3 流水变量 128
10.5.4 确定调度函数 129
10.5.5 线性线程/任务调度的限制 130
10.5.6 非线性调度操作 131
10.6 结点投影操作 131
10.7 非线性投影操作 132
使用并发平台 133
10.8 有向无环图分析的软件和硬件实现 133
10.8.1 设计方案1: 投影方向d1= 133
10.8.2 设计方案2: 投影方向d2= 134
10.9 习题 135
第11章 计算几何分析 136
11.1 概述 136
11.2 矩阵乘算法 136
11.3 3D依赖图和计算域D 136
3D域边界 137
11.4 D的面和顶点 138
11.5 算法变量的依赖矩阵 138
11.6 依赖矩阵的零空间: 广播子域B 139
A的零空间 139
11.7 设计空间的探索: 选择广播变量还是流水线变量 141
11.7.1 馈送/提取广播变量的点 141
11.7.2 变量流水线 143
11.8 数据调度 143
调度函数对数据时序的影响 146
11.9 使用线性投影算子进行投影操作 147
11.9.1 投影矩阵P 147
11.9.2 投影方向 148
11.9.3 投影方向d的选择 148
11.9.4 当投影方法d给定时，找出矩阵P 149
11.10 投影操作对数据的影响 150
11.10.1 输出数据 150
11.10.2 输入数据M2 151
11.10.3 输入数据M3 151
11.11 最终的多线程/多处理器体系结构 151
11.12 本章总结 152
11.13 习题 152
第12章 实例: 一维IIR数字滤波器 154
12.1 概述 154
12.2 一维IIR数字滤波器算法 154
12.3 IIR滤波器的依赖图 154
12.3.1 二维依赖图 154
12.3.2 一维滤波器的调度函数 155
12.3.3 投影方向和投影矩阵的选择 157
12.3.4 设计1: 投影方向 157
12.3.5 设计2: 投影方向 157
12.4 一维IIR数字滤波器算法的z域分析 159
12.4.1 设计3: 广播输入和流水线输出 159
12.4.2 流水线输入和广播输出 159
12.4.3 设计4: 流水线输入和输出 159
12.5 习题 161
第13章 案例分析: 二维与三维数字滤波器 162
13.1 概述 162
13.2 行和帧环绕问题 162
13.3 二维递归滤波器 163
13.3.1 二维IIR设计1: 广播XY输入、流水输出 163
13.3.2 二维IIR设计2: 流水XY输入、广播输出 164
13.4 三维数字滤波器 165
13.4.1 三维IIR设计1: 广播XY输入、流水输出 166
13.4.2 三维IIR设计2: 流水化X和Y输入、广播输出 166
第14章 实例分析： 多重速率的采样器和插值器 168
14.1 概述 168
14.2 采样器的架构 168
14.3 采样器的依赖关系图 169
14.4 采样器时序 170
14.5 在s1= 的情况下，采样器的有向无环图 171
14.6 在s2=的情况下，插值器的有向无环图 172
14.7 在s3=的情况下，插值器的有向无环图 174
14.8 多相采样器的实现 174
14.9 插值器的架构 175
14.10 插值器的依赖关系图 176
14.11 插值器的调度 177
14.12 在s1=的情况下，插值器的有向无环图 178
14.13 在s2= 的情况下，插值器的有向无环图 179
14.14 在s3= 的情况下，插值器的有向无环图 180
14.15 多相插值器的实现 181
第15章 案例学习: 模式匹配 182
15.1 概述 182
15.2 将算法表达为正则迭代算法(RIA) 182
15.3 得到算法依赖图 183
15.4 数据调度 183
15.5 DAG结点的投影 184
15.6 设计方案1: 当s= 时的设计空间 184
15.6.1 设计方案1.a: 设s= , da= 185
15.6.2 设计方案1.b: 设s= , db= 186
15.6.3 设计方案1.c: 设s= , dc= 186
15.7 设计方案2: 当s= 时的设计空间搜索 187
15.7.1 设计方案2.a: 设s= , da= 187
15.7.2 设计方案2.b: 设s= , db= 187
15.7.3 设计方案2.c: 设s= , dc= 188
15.8 设计方案3: 当s= 时的设计空间搜索 188
设计方案3.a: 设s= , da= 188
第16章 案例学习: 用于视频压缩的运动估计 189
16.1 概述 189
16.2 FBMA 189
16.3 数据缓冲要求 190
16.4 FBMA的形式化 191
16.5 运动估计的分层形式化 191
16.5.1 第3层(最左层) 192
16.5.2 第2层 192
16.5.3 第1层 192
16.5.4 第0层(最右层) 192
16.6 层次化结构块的硬件设计 193
16.6.1 第3层的硬件设计 193
16.6.2 第2层的硬件设计 196
16.6.3 第1层的硬件设计 197
16.6.4 第0层的硬件设计 197
第17章 范例分析: 2m阶伽罗瓦域乘法 198
17.1 概述 198
17.2 2m阶伽罗瓦域乘法算法 198
17.3 将域乘法表示为RIA 200
17.4 域乘法的依赖图 200
17.5 数据调度 201
17.6 DAG结点投影 203
17.7 设计1: 使用d1= 204
17.8 设计2: 使用d2= 204
17.9 设计3: 使用d3= 205
17.10 有限域乘法器的应用 206
第18章 范例分析: 2m阶伽罗瓦域的多项式除法 207
18.1 概述 207
18.2 多项式除法算法 207
18.3 LFSR依赖图 208
18.4 数据调度 209
18.5 DAG结点投影 210
18.6 设计1: s1=时的设计空间 211
18.7 设计2: s2=时的设计空间 212
18.8 设计3: s3=时的设计空间 214
18.9 3种设计方案的比较 215
第19章 快速傅里叶变换 217
19.1 概述 217
19.2 时分FFT 218
19.3 流水线基2时分FFT处理器 221
19.4 频分FFT 221
19.5 流水线基2频分FFT处理器 224
第20章 求解线性方程组 225
20.1 概述 225
20.2 特别矩阵结构 225
20.2.1 平面旋转(吉文斯)矩阵 226
20.2.2 带状矩阵 226
20.2.3 对角矩阵 227
20.2.4 上三角矩阵 227
20.2.5 下三角矩阵 227
20.2.6 三对角矩阵 227
20.2.7 上Hessenberg矩阵 227
20.2.8 下Hessenberg矩阵 228
20.3 前向替代(直接技术) 228
20.3.1 前向替代依赖图 228
20.3.2 前向替代规划方程和有向无环图(DAG) 229
20.3.3 前向替代投影函数 230
20.4 回代 230
20.5 矩阵三角化算法 230
20.5.1 Givens旋转算法 232
20.5.2 矩阵三角化调度函数 233
20.5.3 矩阵三角化投影方向 234
20.6 连续超额松弛(SOR)(迭代法) 234
20.6.1 SOR算法 235
20.6.2 SOR算法调度算法 235
20.6.3 SOR算法的投影方向 236
20.7 习题 237
第21章 使用有限差分法求解偏微分方程 238
21.1 概述 238
21.2 1-D系统的FDM 239
21.2.1 1-D FDM的调度函数 240
21.2.2 投影方向 242
参考文献 243
· · · · · · (收起)
1.1 概述 1
1.2 自动并行编程 1
1.3 算法 3
1.3.1 算法的有向图 3
1.3.2 算法的邻接矩阵A 4
1.3.3 基于子任务的依赖关系对算法进行分类 5
1.3.4 串行算法 6
1.3.5 并行算法 6
1.3.6 SPA 6
1.3.7 NSPA 7
1.3.8 RIA 8
1.3.9 并行算法实现 8
1.4 设计并行计算系统 9
1.5 并行算法和并行体系结构 10
1.6 并行算法与并行体系结构相关 10
1.7 算法的实现： 两个方面的问题 11
1.8 衡量并行计算的优势 11
1.8.1 加速比 11
1.8.2 通信开销 12
1.8.3 计算加速比和通信开销 12
1.9 针对多处理器系统的Amdahl法则 14
1.10 Gustafson-Barsis法则 15
1.11 并行计算的应用 16
1.11.1 气象建模 16
1.11.2 CT 17
1.11.3 计算机流体力学（CFD) 18
1.12 习题 18
第2章 增强单处理器的性能 21
2.1 概述 21
2.2 提高处理器的时钟频率 21
2.3 ALU的并行化 22
2.4 使用分级存储器体系 24
2.4.1 内存-高速缓存之间的操作252.4.2 高速缓存的设计 26
2.4.3 分层高速缓存 26
2.4.4 将内存块映射到高速缓存行 26
2.4.5 关联映射 27
2.4.6 组相关映射 28
2.4.7 缓存容量对缓存命中率的影响 28
2.5 流水线作业 28
估算流水线作业的速度 29
2.6 超长指令字（VLIW）处理器 32
2.7 指令级并行（ILP）和超标量处理器 33
2.7.1 真实数据依赖： 写后读（RAW) 34
2.7.2 程序的依赖关系 35
2.7.3 资源冲突 35
2.7.4 输出依赖性： 写后写（WAW) 35
2.7.5 反依赖： 读后写（WAR) 36
2.8 多线程处理器 36
2.9 习题 37
第3章 并行计算机 39
3.1 概述 39
3.2 并行计算 39
3.3 共享内存的多处理器（统一内存访问UMA) 40
3.4 分布式内存多处理器（非统一内存访问NUMA) 41
3.5 SIMD处理器 41
3.6 脉动式处理器 42
3.7 集群计算 44
3.8 网格计算（云计算） 44
3.9 多核系统 44
3.10 流多处理器 46
3.11 并行处理器之间的通信 48
3.11.1 通信类型 48
3.11.2 消息传递（MP）通信机制 49
3.12 并行体系结构总结 50
3.13 习题 50
第4章 共享内存多处理器 52
4.1 概述 52
4.2 高速缓存一致性和内存一致性 53
4.2.1 目录协议 56
4.2.2 Snoopy协议 57
4.3 同步和互斥 57
4.3.1 同步： 锁机制 58
4.3.2 同步： 互斥量 59
4.3.3 同步： 栅栏 60
4.3.4 同步原语的对比 61
4.4 习题 62
第5章 互连网络 63
5.1 概述 63
5.2 逻辑拓扑结构中互连网络的分类 63
5.2.1 总线型 63
5.2.2 星型 64
5.2.3 环型 64
5.2.4 网型 64
5.2.5 交叉开关网络 65
5.2.6 交叉开关网络的连接及仲裁 66
5.2.7 多级互连网络 66
5.2.8 榕树（Banyan）网络 66
5.2.9 树型网络 67
5.2.10 随机拓扑网络 68
5.3 互联网络交换架构 68
5.3.1 输入队列交换器 69
5.3.2 输出队列交换器 70
5.3.3 共享缓冲区交换器 71
5.3.4 多输入队列交换器 73
5.3.5 多输出队列交换器 73
5.3.6 多输入输出队列交换器 74
5.3.7 VRQ交换器 75
5.4 习题 76
第6章 并发平台 78
6.1 概述 78
6.2 并发平台 78
6.3 Cilk++ 78
6.3.1 Cilk++并行循环： cilk_for 79
6.3.2 数据竞争和程序不确定性 80
6.3.3 将串行代码并行化的Cilk++组件 82
6.3.4 使用Cilk++实现矩阵乘法 82
6.4 OpenMP 84
6.4.1 OpenMP编译指导语句 85
6.4.2 编译指导语句子句 86
6.4.3 OpenMP负载分配 87
6.4.4 循环指导语句： for 87
6.4.5 循环指导语句： sections 89
6.4.6 运行时库函数 90
6.4.7 环境变量 90
6.4.8 OpenMP同步 90
6.5 统一计算设备架构（CUDA) 91
6.5.1 定义CUDA中的线程、块和网格 93
6.5.2 将函数交付内核执行 94
6.5.3 主机与CUDA设备间的通信 95
6.5.4 CUDA线程的同步与通信 95
6.5.5 内核和网格 95
6.5.6 块 97
6.5.7 线程 97
6.5.8 CUDA C语言扩展 97
第7章 针对并行算法的特别技术 98
7.1 概述 98
7.2 定义算法变量 99
7.3 独立循环调度 99
7.4 依赖循环 100
7.5 针对简单依赖循环的循环分发方法 100
7.6 循环展开 101
7.7 问题划分 101
7.8 分而治之(递归划分)策略 102
7.9 流水线 104
7.10 习题 106
第8章 非串行-并行算法 107
8.1 概述 107
8.2 并行化用DAG表示的NSPA算法 108
8.3 分析NSPA的形式化方法 109
矩阵的幂的意义: 矩阵的连通性 110
8.4 辨别算法中的环 112
8.5 提取串行及并行算法的性能参数 113
8.6 相关定理 114
8.7 串行和并行算法在并行计算机上的性能 116
8.8 习题 116
第9章 z-变换分析 118
9.1 概述 118
9.2 z-变换的定义 118
9.3 一维有限脉冲响应滤波器算法 119
9.4 z-变换的软件硬件实现 119
9.5 设计1: 用霍纳法则实现广播输入管道输出 120
9.6 设计2: 管道输入广播输出 121
9.7 设计3: 管道输入管道输出 122
9.8 习题 123
第10章 依赖关系图分析 124
10.1 概述 124
10.2 一维有限冲击响应滤波算法 124
10.3 算法的依赖关系图 124
10.4 计算算法的依赖关系图 125
定义D中的变量 125
10.5 一维有限冲击响应滤波的调度函数 127
10.5.1 将依赖关系图转换为有向无环图或串行-并行算法 127
10.5.2 广播变量 128
10.5.3 流水变量 128
10.5.4 确定调度函数 129
10.5.5 线性线程/任务调度的限制 130
10.5.6 非线性调度操作 131
10.6 结点投影操作 131
10.7 非线性投影操作 132
使用并发平台 133
10.8 有向无环图分析的软件和硬件实现 133
10.8.1 设计方案1: 投影方向d1= 133
10.8.2 设计方案2: 投影方向d2= 134
10.9 习题 135
第11章 计算几何分析 136
11.1 概述 136
11.2 矩阵乘算法 136
11.3 3D依赖图和计算域D 136
3D域边界 137
11.4 D的面和顶点 138
11.5 算法变量的依赖矩阵 138
11.6 依赖矩阵的零空间: 广播子域B 139
A的零空间 139
11.7 设计空间的探索: 选择广播变量还是流水线变量 141
11.7.1 馈送/提取广播变量的点 141
11.7.2 变量流水线 143
11.8 数据调度 143
调度函数对数据时序的影响 146
11.9 使用线性投影算子进行投影操作 147
11.9.1 投影矩阵P 147
11.9.2 投影方向 148
11.9.3 投影方向d的选择 148
11.9.4 当投影方法d给定时，找出矩阵P 149
11.10 投影操作对数据的影响 150
11.10.1 输出数据 150
11.10.2 输入数据M2 151
11.10.3 输入数据M3 151
11.11 最终的多线程/多处理器体系结构 151
11.12 本章总结 152
11.13 习题 152
第12章 实例: 一维IIR数字滤波器 154
12.1 概述 154
12.2 一维IIR数字滤波器算法 154
12.3 IIR滤波器的依赖图 154
12.3.1 二维依赖图 154
12.3.2 一维滤波器的调度函数 155
12.3.3 投影方向和投影矩阵的选择 157
12.3.4 设计1: 投影方向 157
12.3.5 设计2: 投影方向 157
12.4 一维IIR数字滤波器算法的z域分析 159
12.4.1 设计3: 广播输入和流水线输出 159
12.4.2 流水线输入和广播输出 159
12.4.3 设计4: 流水线输入和输出 159
12.5 习题 161
第13章 案例分析: 二维与三维数字滤波器 162
13.1 概述 162
13.2 行和帧环绕问题 162
13.3 二维递归滤波器 163
13.3.1 二维IIR设计1: 广播XY输入、流水输出 163
13.3.2 二维IIR设计2: 流水XY输入、广播输出 164
13.4 三维数字滤波器 165
13.4.1 三维IIR设计1: 广播XY输入、流水输出 166
13.4.2 三维IIR设计2: 流水化X和Y输入、广播输出 166
第14章 实例分析： 多重速率的采样器和插值器 168
14.1 概述 168
14.2 采样器的架构 168
14.3 采样器的依赖关系图 169
14.4 采样器时序 170
14.5 在s1= 的情况下，采样器的有向无环图 171
14.6 在s2=的情况下，插值器的有向无环图 172
14.7 在s3=的情况下，插值器的有向无环图 174
14.8 多相采样器的实现 174
14.9 插值器的架构 175
14.10 插值器的依赖关系图 176
14.11 插值器的调度 177
14.12 在s1=的情况下，插值器的有向无环图 178
14.13 在s2= 的情况下，插值器的有向无环图 179
14.14 在s3= 的情况下，插值器的有向无环图 180
14.15 多相插值器的实现 181
第15章 案例学习: 模式匹配 182
15.1 概述 182
15.2 将算法表达为正则迭代算法(RIA) 182
15.3 得到算法依赖图 183
15.4 数据调度 183
15.5 DAG结点的投影 184
15.6 设计方案1: 当s= 时的设计空间 184
15.6.1 设计方案1.a: 设s= , da= 185
15.6.2 设计方案1.b: 设s= , db= 186
15.6.3 设计方案1.c: 设s= , dc= 186
15.7 设计方案2: 当s= 时的设计空间搜索 187
15.7.1 设计方案2.a: 设s= , da= 187
15.7.2 设计方案2.b: 设s= , db= 187
15.7.3 设计方案2.c: 设s= , dc= 188
15.8 设计方案3: 当s= 时的设计空间搜索 188
设计方案3.a: 设s= , da= 188
第16章 案例学习: 用于视频压缩的运动估计 189
16.1 概述 189
16.2 FBMA 189
16.3 数据缓冲要求 190
16.4 FBMA的形式化 191
16.5 运动估计的分层形式化 191
16.5.1 第3层(最左层) 192
16.5.2 第2层 192
16.5.3 第1层 192
16.5.4 第0层(最右层) 192
16.6 层次化结构块的硬件设计 193
16.6.1 第3层的硬件设计 193
16.6.2 第2层的硬件设计 196
16.6.3 第1层的硬件设计 197
16.6.4 第0层的硬件设计 197
第17章 范例分析: 2m阶伽罗瓦域乘法 198
17.1 概述 198
17.2 2m阶伽罗瓦域乘法算法 198
17.3 将域乘法表示为RIA 200
17.4 域乘法的依赖图 200
17.5 数据调度 201
17.6 DAG结点投影 203
17.7 设计1: 使用d1= 204
17.8 设计2: 使用d2= 204
17.9 设计3: 使用d3= 205
17.10 有限域乘法器的应用 206
第18章 范例分析: 2m阶伽罗瓦域的多项式除法 207
18.1 概述 207
18.2 多项式除法算法 207
18.3 LFSR依赖图 208
18.4 数据调度 209
18.5 DAG结点投影 210
18.6 设计1: s1=时的设计空间 211
18.7 设计2: s2=时的设计空间 212
18.8 设计3: s3=时的设计空间 214
18.9 3种设计方案的比较 215
第19章 快速傅里叶变换 217
19.1 概述 217
19.2 时分FFT 218
19.3 流水线基2时分FFT处理器 221
19.4 频分FFT 221
19.5 流水线基2频分FFT处理器 224
第20章 求解线性方程组 225
20.1 概述 225
20.2 特别矩阵结构 225
20.2.1 平面旋转(吉文斯)矩阵 226
20.2.2 带状矩阵 226
20.2.3 对角矩阵 227
20.2.4 上三角矩阵 227
20.2.5 下三角矩阵 227
20.2.6 三对角矩阵 227
20.2.7 上Hessenberg矩阵 227
20.2.8 下Hessenberg矩阵 228
20.3 前向替代(直接技术) 228
20.3.1 前向替代依赖图 228
20.3.2 前向替代规划方程和有向无环图(DAG) 229
20.3.3 前向替代投影函数 230
20.4 回代 230
20.5 矩阵三角化算法 230
20.5.1 Givens旋转算法 232
20.5.2 矩阵三角化调度函数 233
20.5.3 矩阵三角化投影方向 234
20.6 连续超额松弛(SOR)(迭代法) 234
20.6.1 SOR算法 235
20.6.2 SOR算法调度算法 235
20.6.3 SOR算法的投影方向 236
20.7 习题 237
第21章 使用有限差分法求解偏微分方程 238
21.1 概述 238
21.2 1-D系统的FDM 239
21.2.1 1-D FDM的调度函数 240
21.2.2 投影方向 242
参考文献 243
· · · · · · (收起)
读后感
用户评价
《现代密码学基础与应用》这本书的深度和广度都超乎我的预期，它绝不是一本简单的入门读物。作者对于数论基础的铺陈非常扎实，为后续RSA、椭圆曲线加密等公钥算法的推导提供了充足的数学背景，让我明白了为什么这些算法是安全的，而不仅仅是记住了一堆公式。我特别欣赏它对“安全模型”的讨论，清晰地区分了各种攻击场景和相应的防御策略，这一点在很多同类书籍中都是被轻描淡写的。比如，在讲到哈希函数时，它详细分析了MD5、SHA-1到SHA-3的演进过程，解释了“碰撞”的实际危害性，这种追根溯源的写作方式，让人对密码学的“信任链条”有了更清晰的认识。更实用的是，书中最后一部分专门讲解了TLS/SSL协议的握手过程，配图详尽，让我终于能看懂浏览器地址栏里那个小锁背后的复杂博弈。对于想要从事信息安全或需要设计高安全级别系统的工程师来说，这本书绝对是案头必备的参考手册。
我最近在追的这套《高性能Web服务架构设计》系列，其中关于数据库读写分离和缓存策略的那一册，简直是救了我的项目！我们之前一直在为高并发下的数据库瓶颈而焦头烂额，尝试了各种“玄学优化”，收效甚微。这本书则提供了一套非常系统化的解决方案，从CAP理论在实际中的取舍开始，一步步引导读者设计多级缓存体系。它没有盲目推荐Redis或Memcached，而是深入分析了它们各自的适用场景、持久化机制以及一致性问题的处理方法。最让我感到震撼的是，作者详细展示了如何利用异步消息队列来削峰填谷，用实际的代码片段演示了“最终一致性”在业务层面的落地实现。这本书的价值在于，它不是教你一套固定的招式，而是教你一套思考问题的框架，让你在面对新的性能挑战时，能够迅速定位瓶颈并选择最恰当的架构模式。阅读体验极其流畅，专业性与实战性达到了完美的平衡。
这本《深入理解操作系统原理》简直是为我这种初学者量身定制的！书里对内存管理、进程调度这些抽象概念的阐述，就像是把复杂的机械结构一步步拆解开来给我看。作者没有用太多晦涩难懂的术语堆砌，而是大量采用了生动的比喻和图示，让我这个非科班出身的也能很快抓住核心思想。特别是关于虚拟内存的部分，过去我总觉得很玄乎，但读完这一章后，豁然开朗。它不仅讲了“是什么”，更深入地探讨了“为什么会这样设计”，让我开始思考操作系统在实际运行中是如何平衡效率与安全性的。书中还包含了大量的实例分析，比如在不同负载下的CPU调度策略，这些真实的案例比单纯的理论描述要有力得多。可以说，这本书不仅教会了我如何使用操作系统，更重要的是，让我理解了它底层运行的逻辑和背后的权衡取舍，为我后续学习系统编程打下了异常坚实的基础。我强烈推荐给所有想从“使用者”蜕变为“理解者”的读者。
这本关于《分布式系统一致性协议详解》的书，简直是一本硬核的“协议说明书”，内容密度极高，建议读者放慢阅读速度，每读完一章都需要花时间去消化和复习。它没有像市面上很多书那样，用简单的故事带过Paxos或Raft，而是从拜占庭将军问题这个古老的难题出发，系统地阐述了FLP不可能性结论的深刻意义，从而引出了现代共识算法的设计必要性。作者对Raft协议的步骤拆解得极其细致，从选举过程的定时器机制到日志复制的状态机转换，每一个细节都给出了清晰的流程图和状态转换描述。我花了整整一个周末才把领导者变更那一部分完全弄懂，但一旦理解了，再看任何其他分布式框架的源码，都会感觉豁然开朗，知道它们在底层是如何保证数据不丢失、不冲突的。这本书的读者定位非常明确，它面向的不是想快速搭个集群的人，而是想深入理解和设计容错系统的架构师或高级工程师，其专业价值毋庸置疑。
不得不提，《自然语言处理导论（第三版）》这本书的编写风格非常严谨，带着一股浓厚的学术气息。它对NLP历史上的几次重大范式转换，例如从基于规则到统计模型，再到现在的深度学习模型的转变，梳理得脉络分明。关于词嵌入（Word Embedding）的章节，我尤其喜欢，作者详细对比了Word2Vec、GloVe以及后来的ELMo等模型的数学原理和局限性，清晰地解释了“上下文”信息是如何被编码进向量空间的。这本书的优势在于其理论的深度，它不满足于停留在模型应用层面，而是深入到算法的数学推导，比如最大似然估计在隐马尔可夫模型（HMM）中的应用。虽然初读时对数学基础要求较高，但一旦跨过那道坎，你会发现自己对“机器如何理解人类语言”这个问题有了更本质的认识。对于有志于从事NLP研究的硕士生或者资深开发者来说，这是一本不可替代的工具书。
