译者序
第2版前言
第1版前言
第0章 预备知识1
0.1 引言1
0.2 线性微分方程1
0.3 线性差分方程2
0.4 习题5
第1章 有限马尔可夫链6
1.1 定义和举例6
1.2 极限行为和不变概率9
1.3 状态分类12
1.3.1 可约性14
1.3.2 周期性15
1.3.3 不可约、非周期链16
1.3.4 可约或者周期链16
1.4 返回次数19
1.5 非常返态20
1.6 举例24
1.7 习题27
第2章 可数马尔可夫链33
2.1 引言33
2.2 常返和非常返34
2.3 正常返和零常返38
2.4 分支过程40
2.5 习题43
第3章 连续时间马尔可夫链48
3.1 泊松过程48
3.2 有限状态空间50
3.3 生灭过程55
3.4 一般情形60
3.5 习题61
第4章 最优停时64
4.1 马尔可夫链的最优停时64
4.2 带成本的最优停时68
4.3 带折现的最优停时70
4.4 习题71
第5章 鞅74
5.1 条件期望74
5.2 定义和举例78
5.3 可选抽样定理80
5.4 一致可积83
5.5 鞅收敛定理85
5.6 极大不等式89
5.7 习题91
第6章 更新过程95
6.1 引言95
6.2 更新方程98
6.3 离散更新过程104
6.4 M/G/1和G/M/1排队模型107
6.5 习题109
第7章 可逆马尔可夫链112
7.1 可逆过程112
7.2 收敛到平稳分布113
7.3 马尔可夫链算法117
7.4 常返的判定准则120
7.5 习题122
第8章 布朗运动125
8.1 引言125
8.2 马尔可夫性127
8.3 布朗运动的零集130
8.4 多维布朗运动133
8.5 常返和非常返136
8.6 布朗运动的分形性质138
8.7 比例原则138
8.8 带漂移的布朗运动139
8.9 习题140
第9章 随机积分144
9.1 关于随机游动的积分144
9.2 关于布朗运动的积分145
9.3 Ito公式148
9.4 Ito公式的扩展形式151
9.5 连续鞅156
9.6 吉尔萨诺夫变换157
9.7 费因曼卡茨公式159
9.8 black-scholes公式161
9.9 模拟164
9.10 习题164
进一步阅读的建议167
索引168