MIT 6.041 Probabilistic Systems Analysis and Applied Probability - 1.Probability Models and Axioms
1.Probability Models and Axioms 概率模型及公理
Sample Space 样本空间 Ω
一个实验所有可能结果的集合(set)，满足以下两个条件：
- Mutually exclusive 互斥：只可能有一个结果发生
- Collectively exhaustive 完全穷尽：集合包含了所有可能的结果
样本空间可以有限可以无限
两个简单的例子：
有限的：掷骰子两次得到的结果的集合（每次掷到的点数等可能） 用点对表示就是 $\Omega=\{(x,y)|x,y\in\{1,2,3,4,5,6\}\}$
无限的：向单位正方形内投飞镖（投到的地方等可能）$\Omega = \{(x,y)|0\leq x,y\leq 1,\ x,y\in \mathbb{R}\}$
直觉上，我们对于所有可能的结果都分配一个概率，但是试想，如果要表示掷一次骰子得到奇数点数的概率，似乎用单个结果的概率无法表示。我们通过直觉，知道要把奇数点数结果相加，却又难以说明这个相加后的结果，是什么东西的概率——它并不是一个单一的结果，而是结果的复合。同时我们思考掷飞镖的例子，如果对结果分配概率，则每个可能结果的概率都为0，除此之外我们得不到任何新的信息；因此，一般的，人们是对样本空间的子集(subset)分配概率，我们称这样的子集为事件(event)
对于这样的分配规则，我们称其为概率律 probability law（事实上是事件集合到[0,1]上的一个映射）
Probability Axioms 概率公理
-
非负性 nonnegativity：$P(A)\geq0, A$为一个事件
-
标准化 normalization：$P(\Omega) = 1$，整个样本空间(注意一个集合是其本身的子集)发生的概率为1
-
可加性 Additivity：如果$A\cap B=\varnothing$，则$P(A\cup B) = P(A)+P(B)$ 两互相独立的事件的并是其概率之和
更进一步的，
可数可加性 Countable Additivity：如果样本空间有无穷多个元素，且$A_1,A_2,…$是无穷可数个相互独立的事件的一个序列，则他们的并的概率满足
\[P(A_1\cup A_2\cup\cdots) = P(A_1)+P(A_2)+\cdots\]
对于可加性，我们有更进一步的版本：
如果$A_1,A_2,\cdots,A_n$是有限个互相独立的事件，则他们的并的概率满足
\[P(A_1\cup A_2\cup\cdots\cup A_n) = P(A_1)+P(A_2)+\cdots+P(A_n)\]这可以轻易地通过公理三和集合的知识推导出
PROOF
\[P(A_1\cup A_2\cup\cdots\cup A_n) \\= P((A_1\cup A_2\cup\cdots\cup A_{n-1})\cup A_n)\\ = P(A_1\cup A_2\cup\cdots\cup A_{n-1})+P(A_n) = \cdots \\= P(A_1)+P(A_2)+\cdots+P(A_n)\]
而无限多个事件的并的概率，则是由公理3直接给出的
我们也可以通过三条公理推导出所有事件的概率都小于等于1
PROOF
\[1 = P(\Omega) \qquad (Axiom\ 2)\\= P(A\cup A^c)= P(A)+P(A^c)\qquad (Axiom\ 3)\\ P(A)=1-P(A^c)\leq1 \qquad (Axiom\ 1)\]其中$A^c$为$A$的补集
对于无限不可数集合的一些子集，有可能无法以某种方式为其分配概率，此课不做讨论。
Discrete Uniform Law
若所有结果等可能
则
\[P(A) = \frac{A的元素个数}{所有采样点}\]这里讨论的是有限的样本空间