《生灭过程和马尔可夫链(英文版)》提供了诞生与死亡过程和持续时间等参数马尔可夫链领域的全面调查。对英文版许多新的成果已被添加，使书保持在最新的和两个新的章节编写，因此这个版本特别。这是首次在统一的主题和书的形式系统的治疗。
随机过程的基石：从连续时间到离散链的深入探索 概述 本书旨在为读者提供一个严谨且直观的随机过程理论框架，重点聚焦于描述系统随时间演化的两种核心模型：马尔可夫链（Markov Chains）和连续时间马尔可夫过程（Continuous-Time Markov Processes）。我们不涉及特定主题如“出生与死亡过程”的详细应用，而是构建起支撑这些应用的基础数学结构，确保读者对随机系统的内在机制拥有深刻的理解。 全书的组织逻辑是从易于理解的离散时间模型出发，逐步过渡到更复杂、更具现实描述能力的连续时间模型，最终探讨这些过程的长期行为和遍历性。 --- 第一部分：离散时间随机过程与马尔可夫性 本部分奠定了随机过程分析的基石，引入了状态空间的概念，并详细阐述了马尔可夫性质（Markov Property）在离散时间框架下的数学表达。 第 1 章：随机过程基础回顾与离散时间框架 本章首先对概率论和测度论中的必要预备知识进行了快速回顾，重点在于可测空间、随机变量序列的收敛概念（依概率收敛、几乎必然收敛、均方收敛）。随后，我们正式引入随机过程的定义 $left{X_n, n in mathbb{N}_0
ight}$，并将其样本空间和状态空间进行区分。 核心内容聚焦于有限状态空间上的随机过程。我们详细讨论了时间齐次性（Time Homogeneity）的意义，即过程演化的概率规则不依赖于绝对时间点。本章通过具体的例子，如随机游走（Random Walks）和有限状态的序列依赖模型，来直观展示马尔可夫链的直觉概念。 第 2 章：离散时间马尔可夫链 (DTMCs) 的代数结构 本章是理论分析的核心。我们严格定义了离散时间马尔可夫链 (DTMC)，并引入了至关重要的一步转移概率矩阵 (One-Step Transition Probability Matrix) $P$。我们深入探讨了 $P$ 的性质，特别是其元素 $P_{ij}$ 的概率解释。 n 步转移概率的计算是本章的重点。我们证明了 $n$ 步转移概率矩阵 $mathbf{P}^{(n)}$ 是矩阵 $mathbf{P}$ 的 $n$ 次幂，即 $mathbf{P}^{(n)} = mathbf{P}^n$，并利用Chapman-Kolmogorov 方程来描述概率在不同时间步之间的传播。 此外，本章对状态空间进行了分类： 1. 可达性 (Reachability)：定义了从状态 $i$ 到状态 $j$ 的可达性。 2. 连通性 (Communication)：定义了互通状态的概念，并引入了连通类 (Communicating Classes)。 3. 周期性 (Periodicity)：详细分析了状态的周期性，特别是如何确定一个状态的周期 $d(i)$。 4. 常返性与瞬时性 (Recurrence and Transience)：这是分析长期行为的关键。我们利用首次到达时间（First Passage Times）的期望来区分常返态（返回的概率为 1）和瞬时态（返回的概率小于 1）。 第 3 章：马尔可夫链的长期行为与平稳分布 本部分将分析 DTMCs 在无限时间下的动态演化。我们探讨了链的不可约性 (Irreducibility)，并证明了不可约链的性质与状态分类的关系。 平稳分布 (Stationary Distribution) $oldsymbol{pi}$ 的概念被引入，定义为 $oldsymbol{pi} mathbf{P} = oldsymbol{pi}$。我们探讨了平稳分布存在的充分必要条件，特别是对于常返且非周期的 (Positive Recurrent and Aperiodic) 链，平稳分布的存在性和唯一性。 本章的收尾部分关注于遍历性定理 (Ergodic Theorems) 在马尔可夫链中的应用，包括： 平均到达时间 (Mean Return Time)：证明了常返态的平均返回时间等于其平稳概率的倒数。 时间平均与空间平均的等价性：这是遍历定理的核心结论，表明长期观察到的频率与系统的稳态分布是一致的。 --- 第二部分：从离散到连续：生成元与微积分的桥梁 在理解了离散时间框架下的转移矩阵 $mathbf{P}$ 之后，本部分将视角转向连续时间，引入无穷小生成元（Infinitesimal Generator）来替代离散的转移矩阵。 第 4 章：连续时间马尔可夫过程 (CTMPs) 的速率结构 我们正式定义了连续时间马尔可夫过程 (CTMP)，其演化由生成元矩阵 $mathbf{Q}$（有时称为速率矩阵）描述，而非转移矩阵。 生成元矩阵 $mathbf{Q}$ 的构造： 主对角线元素 $q_{ii}$ 被定义为从状态 $i$ 离开的速率（负的）：$q_{ii} = - sum_{j
eq i} q_{ij}$。 非对角线元素 $q_{ij}$（其中 $i
eq j$）定义为从 $i$ 转移到 $j$ 的瞬时速率 (Instantaneous Rate)。 我们详细分析了 $mathbf{Q}$ 矩阵的两个关键性质：行和为零（$sum_j q_{ij} = 0$）以及所有非对角元素 $q_{ij} geq 0$。 第 5 章：科尔莫戈洛夫微分方程组 (Kolmogorov Differential Equations) 在连续时间下，Chapman-Kolmogorov 方程演化成了微分方程组，这使得我们可以用微积分的方法来描述概率随时间的精确变化率。 1. 前向方程 (Forward Kolmogorov Equations)：描述了在时间 $t$ 时，处于状态 $i$ 的概率如何随时间 $t$ 变化，受制于向其他状态的转移速率。 $$frac{d P_{ij}(t)}{d t} = sum_{k} P_{ik}(t) q_{kj}$$ 2. 后向方程 (Backward Kolmogorov Equations)：描述了从初始状态 $i$ 出发的概率如何随时间演化。 $$frac{d P_{ij}(t)}{d t} = sum_{k} q_{ik} P_{kj}(t)$$ 本章详细探讨了如何利用 $mathbf{P}(t) = e^{mathbf{Q} t}$ 的矩阵指数形式来求解这些微分方程，从而得到任意时间 $t$ 的转移概率函数。 第 6 章：跃变过程与指数分布的内在联系 本章强调了 CTMPs 的核心特征：状态之间的转移服从指数分布。我们证明了如果一个过程在任何时刻都满足马尔可夫性质，那么它在状态 $i$ 停留的时间 $T_i$ 必须服从参数为 $lambda_i = -q_{ii}$ 的指数分布。 我们深入探讨了泊松过程 (Poisson Process) 作为 CTMP 的一个特例，并分析了复合泊松过程 (Compound Poisson Process) 的结构。指数分布的无记忆性是保证马尔可夫性质在连续时间下成立的根本原因，这一点被贯穿全书始终。 --- 第三部分：连续时间过程的稳定态与遍历性 本部分将离散时间中的平稳性概念推广到连续时间，并讨论了系统的长期平衡状态。 第 7 章：连续时间马尔可夫过程的稳态分析 对于有限状态空间 CTMPs，如果系统最终能收敛到一个独立于初始状态的稳定概率分布，我们称之为稳态分布 (Steady-State Distribution) $oldsymbol{pi}$。 稳态分布 $oldsymbol{pi} = (pi_1, pi_2, ldots)$ 满足以下两个条件： 1. 平衡方程 (Global Balance Equations)：$oldsymbol{pi} mathbf{Q} = mathbf{0}$，即 $sum_i pi_i q_{ij} = 0$ 对所有 $j$ 成立。 2. 归一化条件 (Normalization)：$sum_i pi_i = 1$。 本章侧重于如何通过求解线性方程组来确定 $oldsymbol{pi}$，并讨论了稳态分布存在的条件（通常要求过程是不可约的且所有状态的平均离开速率是有限的）。 第 8 章：细致平衡与可逆性 为了简化稳态方程的求解，我们引入了细致平衡 (Detailed Balance) 条件。一个分布 $oldsymbol{pi}$ 满足细致平衡，如果对于任何一对状态 $(i, j)$，从 $i$ 到 $j$ 的净流出率等于从 $j$ 到 $i$ 的净流出率： $$pi_i q_{ij} = pi_j q_{ji} quad ext{对于所有 } i
eq j$$ 我们证明了满足细致平衡条件的分布 $oldsymbol{pi}$ 必然是稳态分布。本章随后讨论了可逆性 (Reversibility) 的概念，指出一个 CTMP 是可逆的，当且仅当存在一个满足细致平衡的分布。 第 9 章：遍历性与平均时间分析 类似于离散时间，我们探讨了 CTMPs 的遍历性。对于不可约且正常返（Positive Recurrent）的 CTMP，稳态分布 $oldsymbol{pi}$ 存在且唯一。 本章的重点是分析平均时间量度，如： 平均逗留时间 (Mean Holding Time)：在状态 $i$ 的平均停留时间 $mathbb{E}[T_i]$ 与其速率 $lambda_i = -q_{ii}$ 的关系，即 $mathbb{E}[T_i] = 1 / lambda_i$。 平均到达速率 (Mean Arrival Rate)：稳态分布 $pi_i$ 对应于单位时间内系统平均访问状态 $i$ 的次数。 通过这些分析，读者将能够全面掌握随机过程在不同时间尺度下（离散与连续）的稳定性和动态演化规律。本书为后续深入研究如排队论、可靠性理论中的具体马尔可夫模型打下了坚实的、不依赖于特定应用场景的理论基础。
