数据挖掘总结谈谈你对数据仓库和数据挖掘的认识

如何做好数据挖掘模型的9条经验总结

第一，目标律。

数据挖掘是一个业务过程，必须得有业务目标。

无目的，无过程。

第二，知识律。

业务知识贯穿在挖掘这个业务过程的各环节。

第三，准备律。

数据获取、数据准备等数据处理耗时占整个挖掘过程的一半。

第四，NFL律。

NFL，没有免费的午餐。

没有一个固定的算法适用所有的业务问题，特定应用适合的模型只能通过经验发现。

第五，大卫律。

要相信，数中必有业务规律。

大卫?沃尔金斯最早提出的，故此名。

第六，洞察律。

数据挖掘本质上是增强对业务领域的认知。

第七，预测律。

数据挖掘基于过去得出模式，并泛化到类似新事物上，这就是预测，但这是统计概念的。

第八，价值律。

挖掘模型的最终价值并非模型精度或稳定性，而是驱动业务行动或通过新洞察导致策略改善。

第九，变化律。

人不会两次踏入同一条河流。

业务在变，目标在变，认识也在变，甚至规律本身也在变，挖掘模型也得与时俱进。

请问什么是数据挖掘?

数据挖掘是从大量的数据中，抽取出潜在的、有价值的知识（模型或规则）的过程。

1. 数据挖掘能做什么？ 1)数据挖掘能做以下六种不同事情（分析方法）： · 分类 （Classification） · 估值（Estimation） · 预言（Prediction） · 相关性分组或关联规则（Affinity grouping or association rules） · 聚集（Clustering） · 描述和可视化（Des cription and Visualization） 2)数据挖掘分类 以上六种数据挖掘的分析方法可以分为两类：直接数据挖掘；间接数据挖掘 · 直接数据挖掘 目标是利用可用的数据建立一个模型，这个模型对剩余的数据，对一个特定的变量（可以 理解成数据库中表的属性，即列）进行描述。

· 间接数据挖掘 目标中没有选出某一具体的变量，用模型进行描述；而是在所有的变量中建立起某种关系 。

· 分类、估值、预言属于直接数据挖掘；后三种属于间接数据挖掘 3)各种分析方法的简介 · 分类 （Classification） 首先从数据中选出已经分好类的训练集，在该训练集上运用数据挖掘分类的技术，建立分 类模型，对于没有分类的数据进行分类。

例子： a. 信用卡申请者，分类为低、中、高风险 b. 分配客户到预先定义的客户分片 注意： 类的个数是确定的，预先定义好的 · 估值（Estimation） 估值与分类类似，不同之处在于，分类描述的是离散型变量的输出，而估值处理连续值的 输出；分类的类别是确定数目的，估值的量是不确定的。

例子： a. 根据购买模式，估计一个家庭的孩子个数 b. 根据购买模式，估计一个家庭的收入 c. 估计real estate的价值 一般来说，估值可以作为分类的前一步工作。

给定一些输入数据，通过估值，得到未知的 连续变量的值，然后，根据预先设定的阈值，进行分类。

例如：银行对家庭贷款业务，运 用估值，给各个客户记分（Score 0~1）。

然后，根据阈值，将贷款级别分类。

· 预言（Prediction） 通常，预言是通过分类或估值起作用的，也就是说，通过分类或估值得出模型，该模型用 于对未知变量的预言。

从这种意义上说，预言其实没有必要分为一个单独的类。

预言其目的是对未来未知变量的预测，这种预测是需要时间来验证的，即必须经过一定时 间后，才知道预言准确性是多少。

· 相关性分组或关联规则（Affinity grouping or association rules） 决定哪些事情将一起发生。

例子： a. 超市中客户在购买A的同时，经常会购买B，即A => B(关联规则) b. 客户在购买A后，隔一段时间，会购买B （序列分析） · 聚集（Clustering） 聚集是对记录分组，把相似的记录在一个聚集里。

聚集和分类的区别是聚集不依赖于预先 定义好的类，不需要训练集。

例子： a. 一些特定症状的聚集可能预示了一个特定的疾病 b. 租VCD类型不相似的客户聚集，可能暗示成员属于不同的亚文化群 聚集通常作为数据挖掘的第一步。

例如，"哪一种类的促销对客户响应最好？"，对于这一 类问题，首先对整个客户做聚集，将客户分组在各自的聚集里，然后对每个不同的聚集， 回答问题，可能效果更好。

· 描述和可视化（Des cription and Visualization） 是对数据挖掘结果的表示方式。

2.数据挖掘的商业背景 数据挖掘首先是需要商业环境中收集了大量的数据，然后要求挖掘的知识是有价值的。

有 价值对商业而言，不外乎三种情况：降低开销；提高收入；增加股票价格。

1)数据挖掘作为研究工具 （Research） 2)数据挖掘提高过程控制（Process Improvement） 3)数据挖掘作为市场营销工具（Marketing） 4)数据挖掘作为客户关系管理CRM工具(Customer Relationship Management) 3.数据挖掘的技术背景 1)数据挖掘技术包括三个主要部分：算法和技术；数据；建模能力 2)数据挖掘和机器学习（Machine Learning） · 机器学习是计算机科学和人工智能AI发展的产物 · 机器学习分为两种学习方式：自组织学习（如神经网络）；从例子中归纳出规则（如决 策树） · 数据挖掘由来 数据挖掘是八十年代，投资AI研究项目失败后，AI转入实际应用时提出的。

它是一个新兴 的，面向商业应用的AI研究。

选择数据挖掘这一术语，表明了与统计、精算、长期从事预 言模型的经济学家之间没有技术的重叠。

3)数据挖掘和统计 统计也开始支持数据挖掘。

统计本包括预言算法（回归）、抽样、基于经验的设计等 4)数据挖掘和决策支持系统 · 数据仓库 · OLAP（联机分析处理）、Data Mart（数据集市）、多维数据库 · 决策支持工具融合 将数据仓库、OLAP，数据挖掘融合在一起，构成企业决策分析环境。

4. 数据挖掘的社会背景 数据挖掘与个人预言：数据挖掘号称能通过历史数据的分析，预测客户的行为，而事实上 ，客户自己可能都不明确自己下一步要作什么。

所以，数据挖掘的结果，没有人们想象中 神秘，它不可能是完全正确的。

客户的行为是与社会环境相关连的，所以数据挖掘本身也受社会背景的影响。

比如说，在 美国对银行信用卡客户信用评级的模型运行得非常成功，但是，它可能不适合中国 转载的

数据挖掘有关知识？

数据挖掘，在人工智能领域，习惯上又称为数据库中知识发现(Knowledge Discovery in Database, KDD)， 也有人把数据挖掘视为数据库中知识发现过程的一个基本步骤。

知识发现过程以下三个阶段组成：（1）数据准备，（2）数据挖掘，（3）结果表达和解释。

数据挖掘可以与用户或知识库交互。

并非所有的信息发现任务都被视为数据挖掘。

例如，使用数据库管理系统查找个别的记录，或通过因特网的搜索引擎查找特定的Web页面，则是信息检索（information retrieval）领域的任务。

虽然这些任务是重要的，可能涉及使用复杂的算法和数据结构，但是它们主要依赖传统的计算机科学技术和数据的明显特征来创建索引结构，从而有效地组织和检索信息。

尽管如此，数据挖掘技术也已用来增强信息检索系统的能力。

数据分析挖掘的作用和意义？

数据分析和数据挖掘还不完全是一回事。

“数据分析”的重点是通过分析数据直接得出一些结论；而“数据挖掘”的重点不是直接得出结论，而是挖掘出知识，就是规则，在用挖掘出来的知识规则去指导你分析数据。

显然，“数据挖掘”比“数据分析”更加深一些，而“分析”有些浅表。

数据挖掘的意义

数据挖掘就是从大量繁杂的数据中获取隐含中其中的信息，比如说对顾客分类，聚类，欺诈甄别，潜在顾客识别等，现在应用领域很广的，设计了，零售，金融，银行，医疗，政府决策，企业财务，商业决策

谈谈你对数据仓库和数据挖掘的认识

数据仓库就是在企业管理和决策中面向主题的、集成的、与时间相关的、不可修改的数据集合。

数据挖掘就是一种透过数理模式来分析企业内储存的大量资料，以找出不同的客户或市场划分，分析出消费者喜好和行为的方法。