马尔可夫链地概念及转移概率

实用文档 第四章第四章 4.14.1 马尔可夫链的的概念及转移概率马尔可夫链的的概念及转移概率 一、知识回顾 二、马尔可夫链的的定义 三、转移概率 四、马尔可夫链的一些简单例子 五、总结 文案大全 实用文档 一、知识回顾 知识回顾 1. 条件概率 定义：设 A，B 为两个事件，且，称 为事件 A 发生条件下 B 事件发生的条件概率。 将条件概率公式移项即得到所谓的乘法公式： 2.全概率公式 设试验 E 的样本空间为 S， A 为 E 的事件， 若，，为 S 的一个完备 事件组，既满足条件： 1)，，两两互不相容，即， 2).，且有，则 此式称为全概率公式。 3.矩阵乘法 矩阵乘法的定义 ， 如果 那么矩阵 C 叫做矩阵 A 和 B 的乘积，记作 4.马尔可夫过程的分类 马尔可夫过程按其状态和时间参数是连续的或离散的，可分为三类： （1） 时间、状态都是离散的马尔科夫过程，称为马尔可夫链； （2） 时间连续、状态离散的马尔科夫过程称为连续时间的马尔可夫链的； （3） 时间、状态都连续的马尔科夫过程。 文案大全 实用文档 二、马尔科夫链的定义 马尔科夫链的定义 定义定义 4.14.1 设有随机过程，若对于任意的整数和任意的 ，条件概率都满足 (4.1.1) 则称为马尔科夫链，简称马氏链。 式(4.1.1)即为马氏链，他表明在状态已知 的条件下，的条件概率与无 关，而仅与所处的状态有关。 式(4.1.1)是马尔科夫链的马氏性（或无后效性）的数学表达式。由定义知 = = = 可见，马尔科夫链的统计特性完全由条件概率 所决定。如何确定这个条件概率，是马尔科夫链理论和应用中的重要问题之一。 现举一例说明上述概念： 例 4.1.1 箱中装有 c 个白球和 d 个黑球，每次从箱子中任取一球，抽出的 球要到从箱子中再抽出一球后才放回箱中，每抽出一球作为一次取样试验。 现引进随机变量序列为,每次取样试验的所有可能结果只 有两个，即白球或黑球。若以数代表白球，以数代表黑球则有 ，第次抽球结果为黑球 ，第次抽球结果为白球 由上所述的抽球规则可知， 任意第 n 次抽到黑球或白球的概率只与第 n-1 次抽得 球的结果有关， 而与第次，第次，，第次，抽的球的结果无关， 由此可知上述随机变量序列,为马氏链。 文案大全 实用文档 三 、转移概率 转移概率 定义定义 4.24.2 称条件概率 为马尔科夫链在时刻 N 的一步转移概率，其中，简称为转 移概率。 条件概率：随机游动的质点在时刻 n 处于状态 的条件下，下一步转移 到状态 的你改率。 一般地， 转移概率不仅与状态 i， j 有关， 而且与时刻 n 有关。 当不 依赖与时刻 n 时，表示马尔科夫链具有平稳转移概率。 定义定义 4.34.3 若对任意的，马尔科夫链的转移概率与 n 无关则称马尔科夫链是齐次的，并记为。 下面我们只讨论齐次马尔科夫链通常将“齐次”两个字省略。 设 P 表示一步转移概率所组成的矩阵，且状态空间，则 称为系统状态的一步转移概率矩阵。它具有性质： (1)， ，； (2)，. (2)式中对 j 求和是对状态空间 的所有可能状态进行的， 此性质说明一步转移概 率矩阵中任一行元素之和为 1.通常称满足上述（1） 、 （2）性质的矩阵为随机矩 阵。 定义定义 4.44.4 称条件概率 为马尔科夫链的 n 步转移概率，并称 文案大全 实用文档 为马尔科夫链的 n 步转移矩阵，其中，，即也是随 机矩阵。 当 n=1 是，，此时一步转移矩阵. 此外我们规定 ，， ， 定理定理 4.14.1 设为马尔科夫链，则对任意整数，和 ，n 步转移概率具有下列性质： (1) (2) (3) (4) 证 (1)利用全概率公式及马尔科夫性，有 = == (2)在(1)中令 l=1,k=得 这是一个递推公式，故可递推得到 (3)在(1)中令 l=1,利用矩阵乘法可证。 (4)由(3)，利用归纳法可证。 文案大全 实用文档 定理 4.1 中(1)式称为切普曼——柯尔莫哥洛夫方程，简称 C-K 方程。它在 马尔科夫链的转移概率的计算中起着重要的作用。(2)式说明 n 步转移概率完全 由一步转移概率决定。(4)式说明齐次马尔科夫链的 n 步转移概率矩阵是一步转 移概率矩阵的 n 次乘方。 定义定义 4.54.5 设为马尔科夫链，称 和， 为的初始概率和绝对概率，并分别成和为 的初始分布和绝对分布，简记为和。称概率向量 ，， 为 n 时刻的绝对概率向量，而称 ，， 为初始概率 定理定理 4.24.2 设为马尔科夫链，则对任意和，绝对概率 具有下列性质： （1）； （2）； （3）； （4）. 证证 (1) = (2) = = (3)与(4)中式是(1)与(2)中式的矩阵乘积形式，显然成立。证毕。 文案大全 实用文档 定理定理 4.34.3 设为马尔科夫链，则对任意和，有 证证由全概率公式及马氏性质有 = = 证毕 文案大全 实用文档 一、一、 马尔可夫链的的一些简单例子马尔可夫链的的一些简单例子 马尔科夫链在研究质点的随机运动、自动控制、通信技术、生物工程、经济 管理等领域中有着广泛的应用。 例例 4.14.1 无限制随机游动 设质点在数轴上移动，每次移动一格，向右移动的概率为p，向左移动的概 率为，这种运动称为无限制随机游动。以表示时刻 n 质点所处的位 置，则是一个齐次马尔科夫链，试写出它的一步和 k 步转移概率。 解解 显然的状态空间，其一步转移概率矩阵为 设在第 k 不转移中向右移了 x 步，向左移了y 步，且经过k 步转移状态从 i 进入 j，则 ， ， 从而 ， 由于 x，y 都只能取整数，所以必须是偶数。又在 k 步中哪 x 步向 右，哪 y 步向左是任意的，选取的方法有种。于是 ，为偶数 ，为奇数。 例例 4.24.2 赌徒输光问题 两赌徒甲、乙一系列赌博。赌徒甲有a 元。赌徒乙有b 元，每赌一局输者给 赢者 1 元，没有和局，直到两人中有一个输光为止。设在每一局中，甲赢的概率 为 p，输的概率为，求甲输光的概率。 这个实质上是带有两个吸收壁的随机游动，其状态空间， .故现在的问题是求质点从a点出发到达0状态先于到达c状态的概率. 解解 设表示甲从状态 i 出发转移到状态 0 的概率，我们要计算的就是。 由于 0 和 c 是吸收状态，故 ， 由全概率公式 ，（3.1） 上式的含义是， 甲从有 i 元开始赌到输光的概率等于 “他接下去赢了一局 （概 率为 p） ，处于状态i+1 后再输光” ；和“他接下去输了一局（概率为q） ，处于状 态 i-1 后再输光”这两个事件的和事件的概率。 文案大全 实用文档 由于 p+q=1,（3.1）式实质上是一个差分方程 ，，（3.2） 其中，其边界条件为 ，（3.3） 先讨论 r=1，即的情况，此时（3.2）为 ， 令，，得 ， … ， … 将，代入最后一式，得参数 ， 所以， 令 i=a，求得甲输光的概率为 上述结果表明， 在 p=q 情况下 （即甲、 乙每局比赛中输赢是等可能的情况下） ， 甲输光的概率与乙的赌本 b 成正比，即赌本小者输光的可能性大。 由于甲、乙的地位是对称的，故乙输光的概率为 由于，表明甲、乙中必有一人要输光，