数据挖掘总结（什么是数据挖掘数据挖掘怎么做啊）

本文目录

• 什么是数据挖掘数据挖掘怎么做啊
• 数据挖掘的基本特点有哪些
• 数据挖掘干货总结（四）--聚类算法
• 数据挖掘与预测分析术语总结
• 什么是数据挖掘，或数据挖掘的过程是什么
• 数据挖掘总结之数据挖掘与机器学习的区别
• 数据挖掘总结之主成分分析与因子分析
• 数据挖掘总结之分类与聚类的区别

什么是数据挖掘数据挖掘怎么做啊

数据挖掘（Data Mining）是指通过大量数据集进行分类的自动化过程，以通过数据分析来识别趋势和模式，建立关系来解决业务问题。换句话说，数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。

原则上讲，数据挖掘可以应用于任何类型的信息存储库及瞬态数据（如数据流），如数据库、数据仓库、数据集市、事务数据库、空间数据库（如地图等）、工程设计数据（如建筑设计等）、多媒体数据（文本、图像、视频、音频）、网络、数据流、时间序列数据库等。也正因如此，数据挖掘存在以下特点：

（1）数据集大且不完整数据挖掘所需要的数据集是很大的，只有数据集越大，得到的规律才能越贴近于正确的实际的规律，结果也才越准确。除此以外，数据往往都是不完整的。（2）不准确性数据挖掘存在不准确性，主要是由噪声数据造成的。比如在商业中用户可能会提供假数据；在工厂环境中，正常的数据往往会收到电磁或者是辐射干扰，而出现超出正常值的情况。这些不正常的绝对不可能出现的数据，就叫做噪声，它们会导致数据挖掘存在不准确性。（3）模糊的和随机的数据挖掘是模糊的和随机的。这里的模糊可以和不准确性相关联。由于数据不准确导致只能在大体上对数据进行一个整体的观察，或者由于涉及到隐私信息无法获知到具体的一些内容，这个时候如果想要做相关的分析操作，就只能在大体上做一些分析，无法精确进行判断。而数据的随机性有两个解释，一个是获取的数据随机；我们无法得知用户填写的到底是什么内容。第二个是分析结果随机。数据交给机器进行判断和学习，那么一切的操作都属于是灰箱操作。

数据挖掘的基本特点有哪些

数据挖掘的基本特点有非平凡性、隐含性、新奇性、价值性；1、非平凡性:所谓非平凡，指的是挖掘出来的知识应该是不简单的，绝不能是类似某著名体育评论员所说的“经过我的计算，我发现了一个有趣的现象，到本场比赛结束为止，这届世界杯的进球数和失球数是一样的。非常的巧合!”那种知识。这点看起来勿庸赘言，但是很多不懂业务知识的数据挖掘新手却常常犯这种错误。2、隐含性:数据挖掘是要发现深藏在数据内部的知识，而不是那些直接浮现在数据表面的信息。常用的BI工具，例如报表和OLAP，完全可以让用户找出这些信息。3、新奇性:挖掘出来的知识应该是以前未知的，否则只不过是验证了业务专家的经验而已。只有全新的知识，才可以帮助企业获得进一步的洞察力。4、价值性:挖掘的结果必须能给企业带来直接的或间接的效益。如果想要学习数据挖掘，这里推荐一下CDA数据分析师的相关课程，课程以项目调动学员数据挖掘实用能力的场景式教学为主，在讲师设计的业务场景下由讲师不断提出业务问题，再由学员循序渐进思考并操作解决问题的过程中，帮助学员掌握真正过硬的解决业务问题的数据挖掘能力。这种教学方式能够引发学员的独立思考及主观能动性，学员掌握的技能知识可以快速转化为自身能够灵活应用的技能，在面对不同场景时能够自由发挥。点击预约免费试听课。

数据挖掘干货总结（四）--聚类算法

本文共计2680字，预计阅读时长七分钟

聚类算法

一 、 本质

将数据划分到不同的类里，使相似的数据在同一类里，不相似的数据在不同类里

二 、 分类算法用来解决什么问题

文本聚类、图像聚类和商品聚类，便于发现规律，以解决数据稀疏问题

三 、 聚类算法基础知识

1. 层次聚类 vs 非层次聚类

– 不同类之间有无包含关系

2. 硬聚类 vs 软聚类

– 硬聚类：每个对象只属于一个类

– 软聚类：每个对象以某个概率属于每个类

3. 用向量表示对象

– 每个对象用一个向量表示，可以视为高维空间的一个点

– 所有对象形成数据空间（矩阵）

– 相似度计算：Cosine、点积、质心距离

4. 用矩阵列出对象之间的距离、相似度

5. 用字典保存上述矩阵（节省空间）

    D={(1,1):0,(1,2):2,(1,3):6...(5,5):0}

6. 评价方法

– 内部评价法（Internal Evalution）：

• 没有外部标准，非监督式

• 同类是否相似，跨类是否相异

DB值越小聚类效果越好，反之，越不好

– 外部评价法（External Evalution）：

• 准确度（accuracy）: (C11+C22) / (C11 + C12 + C21 + C22)

• 精度（Precision）: C11 / (C11 + C21 )

• 召回（Recall）: C11 / (C11 + C12 )

• F值（F-measure）：

β表示对精度P的重视程度，越大越重视，默认设置为1，即变成了F值，F较高时则能说明聚类效果较好。

四 、 有哪些聚类算法

主要分为 层次化聚类算法 ， 划分式聚类算法 ， 基于密度的聚类算法 ， 基于网格的聚类算法 ， 基于模型的聚类算法等 。

4.1 层次化聚类算法

又称树聚类算法，透过一种层次架构方式，反复将数据进行分裂或聚合。典型的有BIRCH算法，CURE算法，CHAMELEON算法，Sequence data rough clustering算法,Between groups average算法,Furthest neighbor算法,Neares neighbor算法等。

凝聚型层次聚类 ：

先将每个对象作为一个簇，然后合并这些原子簇为越来越大的簇，直到所有对象都在一个簇中，或者某个终结条件被满足。

算法流程：

1. 将每个对象看作一类，计算两两之间的最小距离；

2. 将距离最小的两个类合并成一个新类；

3. 重新计算新类与所有类之间的距离；

4. 重复2、3，直到所有类最后合并成一类。

特点：

1. 算法简单

2. 层次用于概念聚类（生成概念、文档层次树）

3. 聚类对象的两种表示法都适用

4. 处理大小不同的簇

5. 簇选取步骤在树状图生成之后

4.2 划分式聚类算法

预先指定聚类数目或聚类中心，反复迭代逐步降低目标函数误差值直至收敛，得到最终结果。K-means,K-modes-Huang,K-means-CP,MDS_CLUSTER, Feature weighted fuzzy clustering，CLARANS等

经典K-means：

算法流程：

1. 随机地选择k个对象，每个对象初始地代表了一个簇的中心；

2. 对剩余的每个对象，根据其与各簇中心的距离，将它赋给最近的簇；

3. 重新计算每个簇的平均值，更新为新的簇中心；

4. 不断重复2、3，直到准则函数收敛。

特点：

1.K的选择

2.中心点的选择

– 随机

– 多轮随机：选择最小的WCSS

3.优点

– 算法简单、有效

– 时间复杂度：O(nkt)

4.缺点

– 不适于处理球面数据

– 密度、大小不同的聚类，受K的限制，难于发现自然的聚类

4.3 基于模型的聚类算法

为每簇假定了一个模型，寻找数据对给定模型的最佳拟合，同一”类“的数据属于同一种概率分布，即假设数据是根据潜在的概率分布生成的。主要有基于统计学模型的方法和基于神经网络模型的方法，尤其以基于概率模型的方法居多。一个基于模型的算法可能通过构建反应数据点空间分布的密度函数来定位聚类。基于模型的聚类试图优化给定的数据和某些数据模型之间的适应性。

SOM 神经网络算法 ：

该算法假设在输入对象中存在一些拓扑结构或顺序，可以实现从输入空间(n维)到输出平面(2维)的降维映射，其映射具有拓扑特征保持性质,与实际的大脑处理有很强的理论联系。

SOM网络包含输入层和输出层。输入层对应一个高维的输入向量，输出层由一系列组织在2维网格上的有序节点构成，输入节点与输出节点通过权重向量连接。学习过程中，找到与之距离最短的输出层单元，即获胜单元，对其更新。同时，将邻近区域的权值更新，使输出节点保持输入向量的拓扑特征。

算法流程：

1. 网络初始化，对输出层每个节点权重赋初值；

2. 将输入样本中随机选取输入向量，找到与输入向量距离最小的权重向量；

3. 定义获胜单元，在获胜单元的邻近区域调整权重使其向输入向量靠拢；

4. 提供新样本、进行训练；

5. 收缩邻域半径、减小学习率、重复，直到小于允许值，输出聚类结果。

4.4 基于密度聚类算法

只要邻近区域的密度（对象或数据点的数目）超过某个阈值，就继续聚类，擅于解决不规则形状的聚类问题，广泛应用于空间信息处理,SGC,GCHL，DBSCAN算法、OPTICS算法、DENCLUE算法。

DBSCAN：

对于集中区域效果较好，为了发现任意形状的簇，这类方法将簇看做是数据空间中被低密度区域分割开的稠密对象区域；一种基于高密度连通区域的基于密度的聚类方法，该算法将具有足够高密度的区域划分为簇，并在具有噪声的空间数据中发现任意形状的簇。

4.5 基于网格的聚类算法

    基于网格的方法把对象空间量化为有限数目的单元，形成一个网格结构。所有的聚类操作都在这个网格结构（即量化空间）上进行。这种方法的主要优点是它的处理 速度很快，其处理速度独立于数据对象的数目，只与量化空间中每一维的单元数目有关。但这种算法效率的提高是以聚类结果的精确性为代价的。经常与基于密度的算法结合使用。代表算法有STING算法、CLIQUE算法、WAVE-CLUSTER算法等。 

数据挖掘与预测分析术语总结

数据挖掘与预测分析术语总结

数据挖掘目前在各类企业和机构中蓬勃发展。因此我们制作了一份此领域常见术语总结，希望你喜欢。

分析型客户关系管理（Analytical CRM/aCRM）: 用于支持决策，改善公司跟顾客的互动或提高互动的价值。针对有关顾客的知识，和如何与顾客有效接触的知识，进行收集、分析、应用。参见》》》

大数据（Big Data）: 大数据既是一个被滥用的流行语，也是一个当今社会的真实趋势。此术语指代总量与日俱增的数据，这些数据每天都在被捕获、处理、汇集、储存、分析。维基百科是这样描述“大数据”的：“数据集的总和如此庞大复杂，以至于现有的数据库管理工具难以处理（…）”。

商业智能（Business Intelligence）: 分析数据、展示信息以帮助企业的执行者、管理层、其他人员进行更有根据的商业决策的应用、设施、工具、过程。

流失分析（Churn Analysis/Attrition Analysis）: 描述哪些顾客可能停止使用公司的产品/业务，以及识别哪些顾客的流失会带来最大损失。流失分析的结果用于为可能要流失的顾客准备新的优惠。

联合分析/权衡分析（Conjoint Analysis/ Trade-off Analysis）: 在消费者实际使用的基础上，比较同一产品/服务的几个不同变种。它能预测产品/服务上市后的接受度，用于产品线管理、定价等活动。

信用评分（Credit Scoring）: 评估一个实体（公司或个人）的信用值。银行（借款人）以此判断借款者是否会还款。

配套销售/增值销售（Cross / Up selling）: 一个营销概念。根据特定消费者的特征和过往行为，向其销售补充商品（配套销售）或附加商品（增值销售）。

顾客细分&画像（Customer Segmentation & Profiling）: 根据现有的顾客数据，将特征、行为相似的顾客归类分组。描述和比较各组。

数据集市（Data Mart）: 特定机构所储存的，关于一个特定主题或部门的数据，如销售、财务、营销数据。

数据仓库（Data Warehouse）: 数据的中央存储库，采集、储存来自一个企业多个商业系统的数据。

数据质量（Data Quality）: 有关确保数据可靠性和实用价值的过程和技术。高质量的数据应该忠实体现其背后的事务进程，并能满足在运营、决策、规划中的预期用途。

抽取-转换-加载 ETL (Extract-Transform-Load): 数据仓储中的一个过程。从一个来源获取数据，根据需求转换数据以便接下来使用，之后把数据放置在正确的目标数据库。

欺诈检测（Fraud Detection）: 识别针对特定组织或公司的疑似欺诈式转账、订购、以及其他非法活动。在IT系统预先设计触发式警报，尝试或进行此类活动会出现警告。

Hadoop: 另一个当今大数据领域的热门。Apache Hadoop是一个在已有商业硬件组成的计算机集群上，分布式存储、处理庞大数据集的开源软件架构。它使得大规模数据储存和更快速数据处理成为可能。

物联网（Internet of Things, IoT): 广泛分布的网络，由诸多种类（个人、家庭、工业）诸多用途（医疗、休闲、媒体、购物、制造、环境调节）的电子设备组成。这些设备通过互联网交换数据，彼此协调活动。

顾客的生命周期价值 (Lifetime Value, LTV)： 顾客在他/她的一生中为一个公司产生的预期折算利润。

机器学习（Machine Learning）: 一个学科，研究从数据中自动学习，以便计算机能根据它们收到的反馈调整自身运行。与人工智能、数据挖掘、统计方法关系密切。

购物篮分析（Market Basket Analysis）: 识别在交易中经常同时出现的商品组合或服务组合，例如经常被一起购买的产品。此类分析的结果被用于推荐附加商品，为陈列商品的决策提供依据等。

联机分析处理（On-Line Analytical Processing, OLAP）: 能让用户轻松制作、浏览报告的工具，这些报告总结相关数据，并从多角度分析。

预测分析（Predictive Analytics）: 从现存的数据集中提取信息以便识别模式、预测未来收益和趋势。在商业领域，预测模型及分析被用于分析当前数据和历史事实，以更好了解消费者、产品、合作伙伴，并为公司识别机遇和风险。

实时决策（Real Time Decisioning, RTD）: 帮助企业做出实时（近乎无延迟）的最优销售/营销决策。比如，实时决策系统（打分系统）可以通过多种商业规则或模型，在顾客与公司互动的瞬间，对顾客进行评分和排名。

留存/顾客留存（Retention / Customer Retention): 指建立后能够长期维持的客户关系的百分比。

社交网络分析（Social Network Analysis, SNA）: 描绘并测量人与人、组与组、机构与机构、电脑与电脑、URL与URL、以及其他种类相连的信息/知识实体之间的关系与流动。这些人或组是网络中的节点，而它们之间的连线表示关系或流动。SNA为分析人际关系提供了一种方法，既是数学的又是视觉的。

生存分析（Survival Analysis）: 估测一名顾客继续使用某业务的时间，或在后续时段流失的可能性。此类信息能让企业判断所要预测时段的顾客留存，并引入合适的忠诚度政策。

文本挖掘（Text Mining）: 对包含自然语言的数据的分析。对源数据中词语和短语进行统计计算，以便用数学术语表达文本结构，之后用传统数据挖掘技术分析文本结构。

非结构化数据（Unstructured Data）：数据要么缺乏事先定义的数据模型，要么没按事先定义的规范进行组织。这个术语通常指那些不能放在传统的列式数据库中的信息，比如电子邮件信息、评论。

网络挖掘/网络数据挖掘（Web Mining / Web Data Mining) : 使用数据挖掘技术从互联网站点、文档或服务中自动发现和提取信息。

以上是小编为大家分享的关于数据挖掘与预测分析术语总结的相关内容，更多信息可以关注环球青藤分享更多干货

什么是数据挖掘，或数据挖掘的过程是什么

1.1 数据挖掘的兴起

1.1.1 数据丰富与知识匮乏

• 对信息进行再加工，即进行更深入的归纳分析，从信息中理解其模式，方能获得更有用的信息，即知识。在大量知识积累基础上，总结出原理和法则，就形成了所谓智慧。

• 当前的尴尬境地：“丰富的数据”而“贫乏的知识”

1.1.2 从数据到知识

• 数据仓库的形成：随着数据量的增长，数据源所带来的各种数据格式不相容性，为来便于获得决策所需信息，就有必要将整个机构的数据以统一形式集成存储在一起，这就形成了数据仓库（data warehouse,DW）

• OLAP(On Line Analytical Processing)在线分析工具：针对市场变化加速，人们提出了能进行实时分析和产生相应报表的再现分析工具OLAP。 OLAP 能允许用户以交互方式浏览数据仓库内容，并对其中 数据进行多维分析。

• OLAP分析过程是建立在用户对深藏在数据中的某种知识有预感和假设的前提下，是在用户指导下的信息分析和知识发现过程。

• 智能化自动分析工具：为适应变化迅速的市场环境，就需要有基于计算机与信息技术的智能化自动工具，来帮助挖掘隐藏在数据中的各类知识。这类工具能自身生成多种假设 :right_arrow:然后用数据仓库（or大型数据库）中的数据进行检验或验证 :right_arrow:然后返回用户最有价值的检验结果。

此外，这类工具还应能适应现实世界中数据的多种特性（量大、含噪声、不完整、动态、稀疏性、异质、非线性等）

1.1.3 数据挖掘（DM）的产生

1995年，在美国计算机年会上，提出了数据挖掘（DM，Data Mining） 的概念，即通过数据库抽取隐含的、未知的、具有潜在使用价值信息的过程

整个知识发现过程是由若干重要步骤组成（数据挖掘只是其中一个重要步骤）：

1）数据清洗：清除数据噪声和与挖掘主题明显无关的数据

2）数据集成：将来自多数据源中的相关数据组合到一起

3）数据转换：将数据转换为易于进行数据挖掘的数据存储形式

4）数据挖掘：它是知识挖掘的一个重要步骤，其作用是利用智能方法挖掘数据模式或规律知识

5）模式评估：其作用是根据一定评估标准从挖掘结果筛选出有意义的模式知识

6）知识表示：其作用是利用可视化和知识表达技术，向用户展示所挖掘出的相关知识

1.1.4 数据挖掘解决的商业问题（案例）

• 客户行为分析

• 客户流失分析

• 交叉销售

• 欺诈检测

• 风险管理

• 客户细分

• 广告定位

• 市场和趋势分析

数据挖掘总结之数据挖掘与机器学习的区别

数据挖掘总结之数据挖掘与机器学习的区别与机器学习经常一起出现的就是数据挖掘，两种经常会有重叠的地方， ① 数据挖掘某种意义上更多的是关注从大量的数据中获得新的见解； ② 机器学习聚焦于进行已知的任务，而数据挖掘则是搜寻隐藏的信息。 例如电商利用机器学习来决定向谁推荐什么产品，数据挖掘用来了解什么样的人喜欢什么产品。机器学习和数据挖掘不严格区分。 数据挖掘和机器学习的区别和联系，数据挖掘受到很多学科领域的影响，其中数据库、机器学习、统计学无疑影响最大。对数据挖掘而言，数据库提供数据管理技术，机器学习和统计学提供数据分析技术。统计学界提供的很多技术通常都要在机器学习界进一步研究，变成有效的机器学习算法之后才能再进入数据挖掘领域。统计学主要是通过机器学习来对数据挖掘发挥影响，而机器学习和数据库则是数据挖掘的两大支撑技术。从数据分析的角度来看，绝大多数数据挖掘技术都来自机器学习领域，但机器学习研究往往并不把海量数据作为处理对象，因此，数据挖掘要对算法进行改造，使得算法性能和空间占用达到实用的地步。同时，数据挖掘还有自身独特的内容，即关联分析。1）、机器学习应用场景：预测选举；垃圾邮件过滤；智能交通，自动的信号灯控制；疾病诊断；犯罪预测；估计客户流失率；自动导航；定向广告… 机器学习过程：输入/获取数据、抽象、泛化2）、大数据的挖掘常用的方法：分类、回归分析、聚类、关联规则、神经网络方法、Web 数据挖掘等。这些方法从不同的角度对数据进行挖掘。 (1)分类。分类是找出数据库中的一组数据对象的共同特点并按照分类模式将其划分为不同的类，其目的是通过分类模型，将数据库中的数据项映射到某个给定的类别中。可以涉及到应用分类、趋势预测中，如淘宝商铺将用户在一段时间内的购买情况划分成不同的类，根据情况向用户推荐关联类的商品，从而增加商铺的销售量。 (2)回归分析。回归分析反映了数据库中数据的属性值的特性，通过函数表达数据映射的关系来发现属性值之间的依赖关系。它可以应用到对数据序列的预测及相关关系的研究中去。在市场营销中，回归分析可以被应用到各个方面。如通过对本季度销售的回归分析，对下一季度的销售趋势作出预测并做出针对性的营销改变。 (3)聚类。聚类类似于分类，但与分类的目的不同，是针对数据的相似性和差异性将一组数据分为几个类别。属于同一类别的数据间的相似性很大，但不同类别之间数据的相似性很小，跨类的数据关联性很低。 (4)关联规则。关联规则是隐藏在数据项之间的关联或相互关系，即可以根据一个数据项的出现推导出其他数据项的出现。关联规则的挖掘过程主要包括两个阶段：第一阶段为从海量原始数据中找出所有的高频项目组;第二阶段为从这些高频项目组产生关联规则。关联规则挖掘技术已经被广泛应用于金融行业企业中用以预测客户的需求，各银行在自己的ATM 机上通过捆绑客户可能感兴趣的信息供用户了解并获取相应信息来改善自身的营销。 (5)神经网络方法。神经网络作为一种先进的人工智能技术，因其自身自行处理、分布存储和高度容错等特性非常适合处理非线性的以及那些以模糊、不完整、不严密的知识或数据为特征的处理问题，它的这一特点十分适合解决数据挖掘的问题。典型的神经网络模型主要分为三大类：第一类是以用于分类预测和模式识别的前馈式神经网络模型，其主要代表为函数型网络、感知机;第二类是用于联想记忆和优化算法的反馈式神经网络模型，以Hopfield 的离散模型和连续模型为代表。第三类是用于聚类的自组织映射方法，以ART 模型为代表。虽然神经网络有多种模型及算法，但在特定领域的数据挖掘中使用何种模型及算法并没有统一的规则，而且人们很难理解网络的学习及决策过程。 (6)Web数据挖掘。Web数据挖掘是一项综合性技术，指Web 从文档结构和使用的集合C 中发现隐含的模式P，如果将C看做是输入，P 看做是输出，那么Web 挖掘过程就可以看做是从输入到输出的一个映射过程。 当前越来越多的Web数据都是以数据流的形式出现的，因此对Web数据流挖掘就具有很重要的意义。目前常用的Web数据挖掘算法有：PageRank算法，HITS算法以及LOGSOM 算法。

数据挖掘总结之主成分分析与因子分析

数据挖掘总结之主成分分析与因子分析主成分分析与因子分析1）概念：主成分分析概念：主成分分析是把原来多个变量划为少数几个综合指标的一种统计分析方法。主成分分析（PCA）是一种数据降维技巧，它能将大量相关变量转化为一组很少的不相关变量，这些无关变量称为主成分。 PCA的目标是用一组较少的不相关变量代替大量相关变量，同时尽可能保留初始变量的信息，这些推导所得的变量称为主成分，它们是观测变量的线性组合。因子分析概念：探索性因子分析（EFA）是一系列用来发现一组变量的潜在结构的方法。通过寻找一组更小的、潜在的或隐藏的结构来解释已观测到的、显式的变量间的关系。进行EFA需要大量的样本，一般经验认为如何估计因子的数目为N，则需要有5N到10N的样本数目。 PCA/EFA 分析流程：（1）数据预处理；PCA和EFA都是根据观测变量间的相关性来推导结果。用户可以输入原始数据矩阵或相关系数矩阵列到principal()和fa（）函数中，若输出初始结果，相关系数矩阵将会被自动计算，在计算前请确保数据中没有缺失值；（2）选择因子分析模型。判断是PCA（数据降维）还是EFA（发现潜在结构）更符合你的分析目标。选择EFA方法时，还需要选择一种估计因子模型的方法（如最大似然估计）。（3）判断要选择的主成分/因子数目；（4）选择主成分/因子；（5）旋转主成分/因子；（6）解释结果；（7）计算主成分或因子得分。2）、因子分析与主成分分析的区别①原理不同主成分分析基本原理：利用降维（线性变换)的思想，每个主成分都是原始变量的线性组合,且各个主成分之间互不相关。因子分析基本原理：利用降维的思想，从数据中提取对变量起解释作用的少数公共因子（因子分析是主成分的推广，相对于主成分分析，更倾向于描述原始变量之间的相关关系）②侧重点不同主成分分析侧重“变异量”，主成分分析是原始变量的线性组合，得出来的主成分往往从业务场景的角度难以解释因子分析更重视相关变量的“共变异量”，因子分析需要构造因子模型：EFA中的原始变量是公共因子的线性组合，因子是影响变量的潜在变量，目的是找到在背后起作用的少量关键因子，因子分析的结果往往更容易用业务知识去加以解释③ 因子分析的评价结果没有主成分分析准确; 因子分析比主成分分析的计算工作量大主成分分析:原始变量的线性组合表示新的综合变量，即主成分；EFA和PCA的区别在于：PCA中的主成分是原始变量的线性组合，而EFA中的原始变量是公共因子的线性组合，因子是影响变量的潜在变量，变量中不能被因子所解释的部分称为误差，因子和误差均不能直接观察到。进行EFA需要大量的样本，一般经验认为如何估计因子的数目为N，则需要有5N到10N的样本数目。

数据挖掘总结之分类与聚类的区别

数据挖掘总结之分类与聚类的区别分类与聚类的区别Classification (分类)：一个 classifier会从它得到的训练集中进行“学习”，从而具备对未知数据进行分类的能力，这种提供训练数据的过程通常叫做 supervised learning (监督学习)。所谓分类，简单来说，就是根据文本的特征或属性，划分到已有的类别中。常用的分类算法包括：决策树分类法，朴素的贝叶斯分类算法(native Bayesian classifier)、基于支持向量机(SVM)的分类器，神经网络法，k-最近邻法(k-nearest neighbor，kNN)，模糊分类法等。分类作为一种监督学习方法，要求必须事先明确知道各个类别的信息，并且断言所有待分类项都有一个类别与之对应。但是很多时候上述条件得不到满足，尤其是在处理海量数据的时候，如果通过预处理使得数据满足分类算法的要求，则代价非常大，这时候可以考虑使用聚类算法。Clustering(聚类)：简单地说就是把相似的东西分到一组，聚类的时候，我们并不关心某一类是什么，我们需要实现的目标只是把相似的东西聚到一起，因此，一个聚类算法通常只需要知道如何计算相似度就可以开始工作了，因此 clustering 通常并不需要使用训练数据进行学习，这在Machine Learning中被称作unsupervised learning (无监督学习)。聚类分析目的在于将相似的事物归类，同一类中的个体有较大的相似性，不同类的个体差异性很大。