深度学习--随机变量

1 联合概率

第一个被称为联合概率，P(A=a,B=b) ，给定任意a和b，联合概率可以回答，A=a和B=b 同时满足的概率是多少，注意，对于a和b的任意取值，P(A=a,B=b)<=P(A=a)这点是确定的，因为要同时发生A=a和B=b，A=a就必然发生，B=b也必然发生，因此，A=a和B=b同时发生的可能性不大于A=a或B=b单独发生的可能性。

2 条件概率

联合概率的不等式带给我们一个有趣的比率：0<=P(A=a,B=b)/P(A=a) <= 1，我们称这个比率为条件概率，并用P(B=b,A=a)表示，它是B=b的概率，前提是A=a已经发生。

3 贝叶斯定理

使用条件概率的定义，我们可以得出统计学中最有的方程之一，贝叶斯定理，根据惩罚法则可得到P(A,B) = P(B|A)P(A) 根据对称性，可得到P(A,B) = P(A|B)P(B)，假设P(B) > 0，求解其中一个条件变量，我们得到，P(A|B) = P(B|A)P(A)/P(B)

这里我们使用紧凑的表示法，其中P(A,B) 是一个联合分布P(A|B)是一个条件分布，这种分布可以在给定值A=a,B=b上进行求值。

4 边际化

为了能进行时间概率求和，我们需要求和法则，即B的概率相当于计算A的所有可能选择，并将所有选择的联合概率聚合在一起。

P(B) = SimgaP(A,B)

这也称为边际化，边际化结果的概率成分布称为边际概率或边际分布。

5 独立性

依赖与独立也是有用的属性，如果两个随机变量A和B是独立的，意味着事件A的发生跟事件B的发生无关，在这种情况下，统计学家通常将这一点表示为A｜B，根据贝叶斯定理，马上就能同样得到P(A|B) = P(A)，在所有其它情况下，我们称A和B依赖，比如，两次连续投掷一个骰子的事件是相互独立的。相比之下，灯开关的位置和房间的亮度并不是相互独立的。

由于P(A|B) = P(A,B)/P(B) = P(A)等价于P(A,B)=P(A)P(B)，因此两个随机变量是独立的，当且仅当两个随机变量的联合分布是其各自分布的乘积。同样的，给定另一个随机变量C的，两个随机变量A和B的条件独立的，当且仅当P(A,B|C) = P(A|C)P(B|C)这个情况表示为A|B|C。

6 应用

我们实战演练一下，假设医生对患者进行艾滋病病毒HIV测试，这个测试是相当准确的，如果患者健康但测试显示他患病的概率只有1%，如果患者真的感染HIV，永远不会测试不出，我们使用Di表示诊断结果（如果呈阳性，则为1，如果呈阴性，则为0），H表示感染HIV的状态（如果呈阳性，则为1，如果呈阴性，则为0），H表示感染HIV的状态（如果呈阳性，则为1，如果呈阳性，则为0），在表2-1中列出了这样的条件概率。

表2-1 条件概率为P(Di|H)

条件概率 H = 1 H = 0

P(Di = 1|H) 1 0.01

P(Di = 0|H) 0 0.99

每列的加和都是1 但是每行的加和不是，因为条件概率需要总和为1，就像概率一样，我们计算如果患者测试呈阳性，其感染HIV的概率，即P(H=1|Di=1)，显然，这将取决于疾病有多常见，因为它会影响错误警报的数量，假设人口总体是相当健康的，例如 P(H=1)=0,0015，为了应用贝叶斯定理，我们需要运动边际化和乘法法则来确定。

P(Di = 1)

=P(Di=1,H=0) + P(Di=1,H=1)

=P(Di=1|H=0)P(H=0)+P(Di=1|H=1)P(H=1)

=0.011485

因此，我们得到

P(H=1|Di=1)

=P(Di=1|H=1)P(H=1)/P(Di=1)

换句话说，尽管使用了非常准确的测试，患者实际上患有艾滋病的概率只有13.06%，正如我们所看到的，概率可能是违反直觉的。

患者在收到这样的可怕的消息后应该怎么办，患者很可能要求医生进行第二次测试来确定病情，第二次测试具有不同的特性，它不如第一次测试那么精确。如表2-2所示。

表2-2 条件概率为P(Di|H)

条件概率 H=1 H=0

P(Di=1|H) 0.98 0.03

P(Di=0|H) 0.02 0.97

遗憾的是，第二次测试也呈阳性，我们通过假设条件独立性来计算出应用贝叶斯定理的必要概率。

P(D1=1,D1=1|H=0)

=P(D1=1|H=0)P(D2=1|H=0)

=0.0003

P(D1=1,D2=1|H=1)

=P(D1=1|H=1)P(D2=1|H=1)

0.98

现在我们可以应用边际化和乘法法则。

P(D1=1,D2=1)

=P(D1=1,D2=1,H=0)+P(D1=1,D2=1,H=1)

=P(D1=1,D2=1|H=0)P(H=0)+P(D1=1,D2=1|H=0)P(H=1)

0.00176955

最后，鉴于两次测试呈阳性，患者患有艾滋病的概率为。

P(H=1|D1=1,D2=1)

=P(D1=1,D2=1|H=1)P(H=1)/P(D1=1,D2=1)

=0.8307

也就是说，第二次测试使我们能够对患病情况获得更强的信息，尽管第二次测试笔第一次测试的准确性低得多，但它仍然显著提高了我们预测的概率。

2.6.3 期望和方差

为了概括分布的关键特征，我们需要一些测量方法，一个随机变量X的期望或平均值表示为E[X] = sigmaxP(X=x)

当函数f(x)的输入是从分布P中抽取的随机变量时，f(x)的期望为，

Ex-p[f(x)] = sigmaxf(x)P(x)

在许多情况下，我们希望衡量随机变量X与其期望的偏差，可以通过方差来量化。

Var[x] = E(X - E[X]^2) = E[X^2] - E[X]^2

方差的平方根被称为标准差，随机变量函数的方差衡量的是，当从该随机变量分布中抽取不同值x时，函数值偏离该函数的期望的程度。

Var[f(x)] = E[f(x) - Ef(x)^2]

小结

1 我们可以从概率分布中抽样

2 我们可以使用联合分布，条件分布，贝叶斯定理，边际化和独立性假设来分析多个随机变量

3期望和方差为概括概率分布的关键特征提供了实用的度量形式。