MIT 6.041 Probabilistic Systems Analysis and Applied Probability - 3.Independence
3.Independence 独立性
思考 投2次硬币 这一个实验，在每一次投掷中硬币投到正反的概率不变。我们会发现第二次投硬币的结果和第一次投硬币没有任何关系，不管我第一次投出怎么样的结果，第二次投到正/反的概率都不会受到影响，即，在第一次投到正/反的条件下，第二次投到正/反的条件概率和不加条件的概率相同。我们称这第二次投到正/反这一事件和第一次投到正/反这一事件是独立 independent的
把这个性质用数学语言表达出来，就是
\[P(A\|B) = P(A)\]但是这种表达方式有一种情况没有考虑，就是在事件B的概率为0时，即$P(B) = 0$时，是没有定义的。而根据条件概率的定义，我们又知道$P(A|B)P(B) = P(A\cap B)$，所以，两事件独立的正式数学定义如下所示：
Independence 独立性
若事件A，B满足
\[P(A\cap B) = P(A)P(B)\]则A与B是独立 independent的
此式在A/B概率为0时也成立
同时，由此式我们也知道，若A独立于B，则B必独立于A，即若A不受B影响，则B也不受A影响。这似乎有点违反常理。比如，设置这么一个实验，第二次抛出硬币的概率和第一次抛出的结果有关，那么第二次抛出正/反这一事件就显然不独立与第一次抛出正/反，但是，又怎么能说第一次的结果受第二次影响呢？这不是违反因果律了吗？
这里就需要注意，我们讨论的是事件的概率，而不是事件的结果。并且，事件本质上是样本空间里一个子集。在这个例子中，“第二次抛出正”这一事件，隐含着“第一次抛出正或反”的含义，同样，“第一次抛出正”，隐含着“第二次抛出正或反”的含义，完整的描述是“第一次抛出正，且第二次抛出正或反”，事实上是把两次投掷都包括的。有点像是在两次投掷全结束后去审视结果的感觉，所以是不违法因果律的。前面的描述把“第一次抛出正/反”单独拿出来看，是错误的。
我们再来仔细看这个例子：
假设事件A是“第一次投掷结果是正”，事件B是“第二次投掷结果是正”
可以轻易地得出
\[P(B) = \frac{1}{2}\cdot \frac{1}{2}+\frac{1}{2}\cdot\frac{1}{10} = \frac{3}{10}\neq\ P(B\|A) = \frac{1}{2}\]所以B事件不独立于A
而A受B的影响似乎难以看出，实则不然。第二次投出正面，说明第一次投出正面的概率更大。为什么？因为在第一次投出反的情况下，只有很小的几率(1/10)能投出正，而在第一次投出正的情况下，第二次投出正的概率较大。所以，如果第二次投出正，那么大概率第一次也投出了正。从这里，我们就可以看出事件A事实上是不独立于B的，且可以通过比较条件概率看出A在B条件下的大致概率。
通过贝叶斯定理，我们也可以计算出A在B条件下的条件概率不等于A的概率
\[P(A) = \frac{1}{2}\neq P(A\|B) = \frac{P(A)P(B\|A)}{P(B)} = \frac{\frac{1}{2}\cdot\frac{1}{2}}{\frac{3}{10}} = \frac{5}{6}\]Separate & Independent 互斥和独立
互斥 separate 指的是一旦A发生，则B不可能同时发生，即$P(A\cap B)=0$，e.g. 投硬币投出正面且投出反面的概率为0. 这说明一旦A发生，那么B发生的概率必为0，即$P(B|A) = 0$，除非B的概率为0，AB一定不独立。所以两非0概率互斥事件一定不独立。
从韦恩图，我们也可以看出互斥和独立的区别：
独立事实上表示的是 $A\cap B$在B中占有的比例和A在全集$\Omega$中占有的比例相等
\[\frac{P(A\cap B)}{P(B)}= P(A\|B) = P(A) = \frac{P(A)}{P(\Omega)}\]Conditional Independence 条件独立
上课我们说到
“条件概率和普通的概率没什么大的区别，描述的无非就是一个事件发生的新的状态下的普通概率”
对于独立性也是一样：
若事件A，B，C满足
\[P(A\cap B\|C) = P(A\|C)P(B\|C)\]则称A与B是在C条件下独立的
注意，在C条件下AB独立并不意味着A和B就是独立的；同样，A和B独立不能说明在C条件下AB也是独立的。
从这个反例中我们可以看出即使AB独立，但是在C的条件下，AB是互斥的，所以必然不独立。
而在C条件下AB独立并不意味着A和B就是独立的例子也很好找，这里不赘述。
Independence of a collection of events 多个事件的独立性
若$A_1,A_2,\cdots,A_n$满足
\[P\big(\bigcap_{i\in S}A_i\big) = \prod_{i\in S} P(A_i)\]其中$S$为${1,2,\cdots,n}$的任意子集
则称$A_1,A_2,\cdots,A_n$互相独立
注意这里要求的是任意子集，这意味着光是两两独立($P(A_i\cap A_j) = P(A_i)P(A_j)$)还不够，三三独立($P(A_i\cap A_j\cap A_k) = P(A_i)P(A_j)P(A_k)$)，四四独立…都要求满足
不完整的独立性称之为部分独立 pairwise independent
若全部事件互相独立，那么他们之中任意取任意个的任意并都互相独立，这由定义易得
然而，部分独立并不代表全部事件都互相独立
考虑以下例子：
抛两次硬币，A为第二次朝上，B为第一次朝上，C为两次结果一样
AC AB BC分别独立 因为
\[P(A\cap C) = P(A)P(C) = \frac{1}{4}\\ P(A\cap B) = P(A)P(B) = \frac{1}{4}\\ P(B\cap C) = P(B)P(C) = \frac{1}{4}\]但是ABC却不独立，因为
\[P(A\cap B\cap C) = \frac{1}{4}\neq P(A)P(B)P(C) = \frac{1}{8}\]或者从直观上看，
若AB同时发生，会影响C的概率
\[P(C\|A\cap B) = 1 \neq P(C) = \frac{1}{2}\]最后考虑一个经典的问题
一个国王出身于有两个孩子的家庭，那么他的兄/弟/姐/妹是女性的概率是？
假设生男生女的概率相等，一般人可能会觉得另一个孩子是女性的概率就是1/2了，但事实上不是
所有情况分别是：男男 男女 女男 女女
因为有一个孩子已经是男性了，所以女女的情况排除，只剩三种情况： 男男 男女 女男
所以另一个孩子是女性的概率是2/3
当然，如果王室有什么奇怪的规则，或者受到了什么诅咒导致男女出生概率不同，或者有什么奇奇怪怪的事，这里的答案又有可能发生变化。所以遇到这种粗略描述的问题，要做好假设。
参考资料：MIT6.041公开课程及讲义