香港vps中的EM算法

　　香港vps中的EM算法

　　在今天的教程里面小编为香港vps以及香港服务器的用户带来服务器中的EM算法，服务器中的EM算法作为一种经典的算法在数据挖掘之中广泛的存在，在介绍EM算法之前，小编希望各位新世界主机用户能够拥有一些概率论的知识，或者对于贝叶斯分类器有过一定的了解，当然我们在这里主要是介绍一些算法的基本步骤，即便是对于相应的数学基础薄弱的同学，只要他对于相应的数学证明过程没有强烈的需求，也依然可以驾驭我们在这里提供的算法。

　　EM算法是一种广泛使用的分类算法，EM算法能评得上机器学习领域内的十大算法之一，在当今的产业界以及科研界有着广泛的应用。在统计计算中，最大期望算法(EM算法)就是在概率模型中寻找参数最大似然估计算法(在这一点上类似于我们之前提到过的贝叶斯算法)，但是在EM算法中我们需要计算的数值依赖于依赖于无法观测的隐藏变量(一般指的是对于给定的实例值，他是属于哪一个分布，这一点通常是未知的)。最大期望经常用在机器学习和计算机视觉的数据聚类领域。

　　em算法主要由下面的步骤构成，首先需要计算两个步骤：

　　第一步是计算期望(E)，利用概率模型参数的现有估计值，计算隐藏变量的期望;

　　第二步是最大化(M)，利用E 步上求得的隐藏变量的期望，对参数模型进行最大似然估计(两步来自于Tom Mitchell的经典教材:机器学习)。

　　更加具体化EM的算法流程，我们可以得到以下步骤：

　　第一步是对极大似然取对数(方便以后的求导计算，由累乘变成累加)，第二步是对每个样例的每个可能类别z求联合分布概率和(最后取其中的最大值)。EM是一种解决存在隐含变量优化问题的有效方法。我们可以不断地建立下界(E步)，然后优化下界(M步)。对于每一个样例i，让c表示该样例隐含变量z的某种分布，都可以通过以上两步进行相应的计算。

　　EM算法的优点：

　　EM算法比K-means算法计算复杂，收敛较慢，不适合大规模数据集和高维数据，但比K-means算法计算结构稳定、准确。

　　EM算法的代码实现:

　　counts = {'A': {'H': 0, 'T': 0}, 'B': {'H': 0, 'T': 0}}

　　theta_A = priors[0]

　　theta_B = priors[1]

　　#E step

　　for observation in observations: //通过一个循环统计观察值中的数值

　　len_observation = len(observation) //计算观察值的大小。

　　num_heads = observation.sum()

　　num_tails = len_observation-num_heads

　　#二项分布求解公式

　　contribution_A = scipy.stats.binom.pmf(num_heads,len_observation,theta_A)

　　contribution_B = scipy.stats.binom.pmf(num_heads,len_observation,theta_B)

　　weight_A = contribution_A / (contribution_A + contribution_B)

　　weight_B = contribution_B / (contribution_A + contribution_B)

　　#更新在当前参数下A，B硬币产生的正反面次数

　　counts['A']['H'] += weight_A * num_heads //将训练数据中的不同属性都取出。

　　counts['A']['T'] += weight_A * num_tails

　　counts['B']['H'] += weight_B * num_heads

　　counts['B']['T'] += weight_B * num_tails

　　# M step //算法中的第M步。

　　new_theta_A = counts['A']['H'] / (counts['A']['H'] + counts['A']['T'])

　　new_theta_B = counts['B']['H'] / (counts['B']['H'] + counts['B']['T'])

　　return [new_theta_A,new_theta_B]

　　香港vps中的EM算法小编就带领大家介绍到这里了，希望大家对EM算法有了一个更加深入的了解。

　　如果您还有什么不明确或者是不懂的地方，欢迎来新世界主机咨询了解，详情请咨询QQ: TEL: 。我们必将竭诚为您服务。