PCA和SVD简化数据技术

　　PCA和SVD简化数据技术

　　如今海量的数据要进行处理之前，必定要对数据进行简化，去除数据中的杂质数据，下面给大家说一下简化数据的技术：

　　(一)降维技术：如今NBA季后赛正在打得火热，在比赛中，人们最关心的就是投篮的那一刻球进没进入篮筐，但是球在整个像素中占的像素比例很小，在这种情况下将像素转换为三维图像，确定篮球的三维位置，这就是降维技术。

　　数据往往具有显示更多特征的能力，也就是说我们可以从一堆数据中找出很多重要的特点，在数据使用之前要对数据进行简化(降维)，这样做的好处是(1)数据更容易使用，减小误差;(2)减少算法迭代，提高算法的效率，降低算法计算开销;(3)去除噪声(误差);(4)使得结果更易整理和易懂。

　　数据降维的方法：(1)主成分分析(PCA)通过不断转换新的坐标系，而新的坐标系由数据本身决定，第一次换坐标系由方差最大的方向决定，第二次换坐标系是有与第一次坐标系正交方向方差最大，重复次数为原始数据的特征数目。

　　(2)因子分析(FA)(3)独立成分分析(ICA)，在这三种降维技术中PCA使用的最为广泛。PCA的优点是：降低了数据的复杂性，识别最重要的多个特征。缺点是：简化数据中可能损失有用的信息，适用标称型数据。

　　(二)如果我现在有很多信息，如何提取这些信息中的有用信息(简化数据)，奇异值分解技术(SVD)，首先我们用很小的数据集来表示原始数据集(除噪和冗余)，奇异值分解的好处是：简化数据，去除噪声，提高算法结果;缺点是数据的转换很难理解，适用数值型数据。通常SVD使用隐形语义索引来搜索和检索信息领域;使用推荐系统来计算计算项之间的相似度。(1)SVD最早的应用之一就是信息检索，一个矩阵由文档和词语组成，在矩阵上使用SVD时就会构建出多个奇异值，表示文档中主题或者概念，这一点适用于高效的文档搜索。(2)推荐系统对具有相同概念或者主题的数据进行关联，比如你在餐馆吃了很多次牛肉，下次来的时候不想吃牛肉了，就是给你推荐其他肉类，而不是蔬菜。

　　(三)利用pyhon来实现SVD

　　处理[1 1;2 2]矩阵数据

　　>>> from numpy import *

　　>>> U , Sigma , VT = linalg.svd([1 , 1] , [7 , 7])

　　本次讲解就到这里，相信小编已经给大家对于数据简化技术做了一些正确合理的普及，大家现在应该理解PCA和SVD技术了，喜欢动手的朋友可以使用Phython进行机器学习算法解析,这样会对机器学习算法有更深的了解(上述操作本人都亲自试验过)。

　　希望大家踊跃的购买我们公司的香港vps，更好的进行大数据、机器学习相关的研究和实战。

　　如果还有什么不明确或者不懂的地方，欢迎来到新世界主机咨询了解，详情请咨询QQ： ，TEL： 。我们必将竭诚为您服务。