| 在线客服 |
| QQ : |
 |
|
| QQ : |
|
|
|
| |
 |
| |
 |
 |
外贸营销服务方案 |
|
|
主动搜索国外买家，轻松搞定，低成本、高效率,给外贸企业全球客户的联系方式，带来B2B上找不到的大客户和高利润 |
|
| |
客服电话:027-68766423
QQ
:3057296586,3057213126
|
| |
|
 |
| |
|
|
|
|
|
贝叶斯分类法 |
 |
|
贝叶斯公式和全概率公式：
条件概率
定义 设A, B是两个事件，且P(A)>0 称P(B∣A)=P(AB)/P(A)为在条件A下发生的条件事件B发生的条件概率。
乘法公式 设P(A)>0 则有P(AB)=P(B∣A)P(A)
全概率公式和贝叶斯公式
定义 设S为试验E的样本空间，B1, B2, …Bn为E的一组事件，若BiBj=Ф, i≠j, i, j=1, 2, …,n;
B1∪B2∪…∪Bn=S则称B1, B2, …, Bn为样本空间的一个划分。
定理 设试验E的样本空间为，A为E的事件，B1, B2, …,Bn为的一个划分，且P(Bi)>0 (i=1, 2, …n)，则P(A)=P(A∣B1)P(B1)+P(A∣B2)+
…+P(A∣Bn)P(Bn)称为全概率公式。
定理 设试验俄E的样本空间为S，A为E的事件，B1, B2, …,Bn为的一个划分，则
P(Bi∣A)=P(A∣Bi)P(Bi)/∑P(B｜Aj)P(Aj)=P(B｜Ai)P(Ai)/P(B)
称为贝叶斯公式。说明：i，j均为下标，求和均是1到n
对于一篇文章，
Good good study,Day day up.
可以用一个文本特征向量来表示，x=(Good, good, study, Day, day ,
up)。一般各个词语之间肯定不是相互独立的，有一定的上下文联系。但在朴素贝叶斯文本分类时，我们假设个单词之间没有联系，可以用一个文本特征向量来表示这篇文章，这就是“朴素”的来历。
贝叶斯分类器举例
假设给定了如下训练样本数据，我们学习的目标是根据给定的天气状况判断你对PlayTennis这个请求的回答是Yes还是No。
Day Outlook Temperature Humidity Wind PlayTennis
D1 Sunny Hot High Weak No
D2 Sunny Hot High Strong No
D3 Overcast Hot High Weak Yes
D4 Rain Mild High Weak Yes
D5 Rain Cool Normal Weak Yes
D6 Rain Cool Normal Strong No
D7 Overcast Cool Normal Strong Yes
D8 Sunny Mild High Weak No
D9 Sunny Cool Normal Weak Yes
D10 Rain Mild Normal Weak Yes
D11 Sunny Mild Normal Strong Yes
D12 Overcast Mild High Strong Yes
D13 Overcast Hot Normal Weak Yes
D14 Rain Mild High Strong No
可以看到这里样本数据集提供了14个训练样本，我们将使用此表的数据，并结合朴素贝叶斯分类器来分类下面的新实例：
x = (Outlook = Sunny,Temprature = Cool,Humidity = High,Wind =
Strong)
在这个例子中，属性向量X=(Outlook, Temperature, Humidity, Wind)，类集合Y={Yes,
No}。我们需要利用训练数据计算后验概率P(Yes|x)和P(No|x)，如果P(Yes|x)>P(No|x)，那么新实例分类为Yes，否则为No。
为了计算后验概率，我们需要计算先验概率P(Yes)和P(No)和类条件概率P(xi|Y)。
因为有9个样本属于Yes，5个样本属于No，所以P(Yes)=9/14, P(No)=5/14。
类条件概率计算如下：
P(Outlook = Sunny|Yes)=2/9 P(Outlook = Sunny|No)=3/5
P(Temprature = Cool |Yes) =3/9 P(Temprature = Cool |No) =1/5
P(Humidity = High |Yes) =3/9 P(Humidity = High |No) =4/5
P(Wind = Strong |Yes) =3/9 P(Wind = Strong |No) =3/5
后验概率计算如下：
P(Yes | x)= P(Outlook = Sunny|Yes)×P(Temprature = Cool |Yes)×P(Humidity
= High |Yes)×P(Wind = Strong |Yes)×P(Yes)=2/9×3/9×3/9×3/9×3/9×9/14=2/243=9/1701≈0.00529
P(No | x)= P(Outlook = Sunny|No)×P(Temprature = Cool |No)×P(Humidity
= High |No)× P(Wind = Strong |No)×P(No)=3/5×1/5×4/5×3/5×5/14=18/875≈0.02057
通过计算得出P(No | x)> P(Yes | x)，所以该样本分类为No[3]。
5、条件概率的m估计
假设有来了一个新样本 x1= (Outlook = Cloudy,Temprature = Cool,Humidity =
High,Wind = Strong)，要求对其分类。我们来开始计算，
P(Outlook = Cloudy|Yes)=0/9=0 P(Outlook = Cloudy |No)=0/5=0
计算到这里，大家就会意识到，这里出现了一个新的属性值，在训练样本中所没有的。如果有一个属性的类条件概率为0，则整个类的后验概率就等于0，我们可以直接得到后验概率P(Yes
| x1)= P(No | x1)=0，这时二者相等，无法分类。
当训练样本不能覆盖那么多的属性值时，都会出现上述的窘境。简单的使用样本比例来估计类条件概率的方法太脆弱了，尤其是当训练样本少而属性数目又很大时。
|
| |
|
|
|
|
: |
