数据挖掘DataMining概述
1.数据挖掘的定义
数据挖掘：指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘在面向用户的互联网产品中发挥着及其重要的作用。
2数据挖掘的对象
常见的数据挖掘对象有以下7大类
关系型数据库(MySQL)、非关系系数据库（NoSQL）；
数据仓库/多维度数据库(HDFS/Hive)；
空间数据（如地图信息）
工程数据（如建筑、集成电路的信息）
文本和多媒体数据（如文本、图像、音频、视频数据）
时间相关的数据（如历史数据或股票交换数据）
万维网（如半结构化的HTML、结构化的XML以及其他网络信息）。
3数据挖掘的过程
数据准备：收集数据
数据集成：了解领域特点，确定用户需求，处理数据中的遗漏和清洗脏数据；
数据选择：从原数据库中选择相关数据或样本，从而辨别出需要需要分析的数据集合，缩小处理范围，提高数据挖掘的质量；
数据预处理：检查数据的完整性及一致性，消除噪声。
数据挖掘
确定挖掘目标：确定要发现的知识类型；
选择算法：根据确定的目标选择合适的数据挖掘算法
数据挖掘：运用所选算法，提取相关知识并以一定的方式表示。
结果表达与解释
根据用户的决策目的对提取的信息进行分析，把最有价值的信息区分出来，并且通过决策支持工具交给决策者。
模式评估：对在数据挖掘步骤中发现的模式（知识）进行评估；
知识表示：使用可视乎和知识表示相关技术，呈现所挖掘的知识。
4数据挖掘的方法
数据挖掘的方法分类
挖掘任务：分类、预测、聚类、关联规则、异常和趋势发现；
挖掘方法：统计方法和机器学习学习方法。
统计方法
回归分析、判别分析、聚类分析、探索性分析；
机器学习方法
神经网络、集成学习、遗传算法
分类
根据一些给定的已知类别标号的样本，训练某种学习机器（即得到某种目标函数），使它能够对未知类别的样本进行分类。
聚类
用于从数据及中找出相似的数据并组成不同的组。与分类模型不同，聚类中没有明显的目标变量作为数据的属性存在。
关联分析
关联分析又称关联挖掘，就是在交易数据、关系数据或其他信息载体中，查找存在于项目集合或对象集合之间的频繁模式、关联、相关性或因果结构。
5数据挖掘的应用
互联网巨头
谷歌和百度用数据挖掘算法对广告点击率进行预测；
电子商务巨头
亚马逊和阿里巴巴通过数据挖掘来预测用户购买商品的可能性；
零售巨头
沃尔玛，通过分析客户购买记录寻找不同商品之间的可能性，从而更合理上架不同品类商品；
