随机过程1

有限状态马尔科夫链，状态转移，常返与瞬时状态

读完全文感觉对概率论的贝叶斯公式需要有较深理解，同时对概率的放缩有灵活的认识

随机过程是概率论的延伸，研究的主体是“随机的过程”，也就是说，如果研究对象具备这种“过程”的属性，往往随机过程就会有用武之地。比方说，对于一个随机变量而言，它自然会有一个具体的概率分布，但是随着时间的变化，它的概率分布出现变化

**当前的状态，只会与上一个阶段的状态有关 **

Theorem 1: P(Xn+m=j|Xn=i)=pm(i,j)，其中pm(i,j)=Pijm

pm并不代表它是p的m次幂，只是我们这么写而已，但是Pijm确实是表示把矩阵P做一个m次幂之后，取它的第i行，第j列元素。

P(Xn+m=j,Xn=i)=P(Xn=i)∑i1,…,im−1∈Sp(i,i1)p(i1,i2)⋯p(im−1,j)=P(Xn=i)pm(i,j)

最后一步看起来很玄乎，但其实就是矩阵乘法的定义。

首先给出一个返回时间（return time）和返回次数（return count）的概念。

Definition 4: Return Time, Return Count 定义Ty=min{n≥1:Xn=y}，表示从y出发，下一次回到y的时间。N(y)表示返回y的次数。

定义一个返回时间概率（return time probability）的概念。

Definition 5: Return Time Probability 定义ρyy=Py(Ty<∞)为从y出发，在有限时间能够回到y的概率。

引入停时（stopping time）的概念。

Definition 6: Stopping Time 如果T满足性质：{T=n}的概率仅仅取决于从0开始的随机过程的到Xn为止的结果。也即仅仅取决于{X0,⋯,Xn}。那么称 T 是一个停时。

Ty是一个停时。因为不可能有>n的时间的状态改变结果。比方说我知道t=5的时候，从y开始的随机过程第一次回到y，那么t>5的情况其实和我无关，不可能影响到Ty的情况。

当然，也可以举出“非停时”的例子。比方说“最后一次回到y的时间Sy”，因为我们可以写出

Sy=max{n≥1:Xn=y}

这个很明显取决于Xn+1及以后的状态（要求它们都不能是y），那就违背停时的定义了。

强马尔科夫性（strong Markov property），它也是停时的一个关键定理。

Theorem 2: Strong Markov Property 设T是一个停时，并且假设T=n,Xn=y，也就是说Ty=n。那么从n开始，后面的每一步表现都和之前的马尔科夫链一模一样。

如果是有限状态马尔科夫链，一般来说根据ρyy的取值，可以把它区分为两种情况。

Definition 7: Recurrent State, Transient State 若ρyy=1，则称y是一个常返状态，否则y是一个瞬时状态

可以通过画图的方式，来区分出两种状态。很多时候，这会很方便。