概率分析学习笔记

概率分析

• 1. 概率 && 机器学习
• 1. 条件概率 && 全概率
• 1. 贝叶斯公式 && 朴素贝叶斯

0x01 概率 && 机器学习

概率： 一个在 0 到 1 的之间的实数， 是对随机事件发生可能性的度量， 反应某种情况出现的可能性 （likelihood） 大小。

机器学习中的概率： 在分类任务中， 机器学习模型直接预测的结果是某种情况对应的概率。

All about probability!

0x02 条件概率 && 全概率

条件概率： 事件 A 已经发生的条件下事件 B 发生的概率表示为：$P(B

A)$

\[P(B|A) = \frac{P(AB)}{P(A)}\]

• $P(AB)$ 表示 A 与 B 同时发生的概率
• $P(A)$ 表示 A 发生的概率

全概率： 将复杂的事件 A 的概率求解问题， 转化为在不同情况下发生的简单事件的概率的求和问题， 公式为：

\[P(A) = P(A|B_1) + P(A|B_2) + ... + P(A|Bn)P(B_n) = \sum_{i=1->n}P(A|B_i)P(B_i)\]

概率是反映随机事件出现的可能性大小的量度， 条件概率则是给定某事件 A 的条件下， 另一事件 B 发生的概率。 全概率公式则是利用条件概率， 将复杂事件 A 分割为若干简单事件概率的求和问题。

#	cpu	gpu
A	30	20
B	30	30
C	25	20

\[\begin{align*} gpu = & \frac{50}{155}* \frac{20}{50} + \frac{60}{155}* \frac{30}{60} + \frac{45}{155}* \frac{20}{45} \\ = & \frac{20}{155} + \frac{30}{155} + \frac{20}{155} \\ = & \frac{70}{155} \\ gpu = & \frac{20 + 30 + 20}{30 + 30 + 25 + 20 + 30 + 20} \\ = & \frac{70}{155} \\ \end{align*}\]

0x03 贝叶斯公式 && 朴素贝叶斯

[B2 -- ([ A|B2 ] [A|B1] ) (B1)]

• A 发生的 probability 为 $\frac{13}{60}$
• B1 发生的 probability 为 $\frac{1}{3}$
• B1 发生情况下 A 发生的 probility 为 $\frac{1}{4}$

计算 A 发生的概率

假设总数是 780：

\[\begin{align*} A =& 780 \times \frac{13}{60} = 169 \\ B_1 = & 780 \times \frac{1}{3} = 260 \\ A|B1 = & 260 \times \frac{1}{4} = 65 \\ B1|A = & \frac{65}{169} = \frac{5}{13} \\ \end{align*}\]

0x03 | 0x01 贝叶斯公式

在已知一些条件下（部分事件发生的概率），实现对目标事件发生概率更准确的预测，公式为：

\[P(B|A) = P(B) \times \frac{P(A|B)}{P(A)}\]

公式的延申：

\[\begin{align*} P(B_i|A) = & \frac{P(B_i) \times P(A|B_i)}{P(A)} \\ = & \frac{P(B_i) \times P(A|B_i)}{\sum_{j=1}^{n}P(A|B_j) \times P(B_j)} \end{align*}\]

• Probability 是反应随机事件出现的可能性大小的量度。
• 条件概率则是给定某事件 A 的条件下， 另一个事件 B 发生的概率。
• 全概率公式则是利用条件概率，将复杂事件 A 分割为若干简单事件概率的求和问题。
• 贝叶斯公式则是利用条件概率和全概率公式计算后验概率。

女生对你笑， 喜欢你的概率是多少？

已知： 女生喜欢一个人的概率是 0.1， 她对喜欢的人笑的概率是 0.5， 她平时笑的概率是 0.2.

$ = 0.1 \times 0.5 \div 0.2 = 0.25$

0x03 | 0x02 朴素贝叶斯

以贝叶斯定理为基础， *假设特征之间相互独立**， 先通过训练数据集， 学习从输入到输出的概率分布， 再基于学习到的模型及输入， 求出使得后验概率最大的输出实现分类。

Gender	Age	Device	y
0	0	0	1
1	1	1	1
1	1	0	0
0	2	0	0

\[P(y_i|x_1, x_2, ..., x_m) = \frac{P(y_i)\prodlimits_{j=1}^{m} P(x_j|y_j)}{\sum_{j=1}^{m}P(x_j)}\] \[\begin{align*} x11 = & 0, x12 = 0, x13 = 0, y1 = 1 \\ p(y_i) = & 2 \div 4 = 0.5 \\ P(x_11|y_1) * \end{align*}\]