【数据挖掘】数据挖掘简介 ( 数据挖掘引入 | KDD 流程 | 数据源要求 | 技术特点 )

举报
韩曙亮 发表于 2022/01/11 01:14:13 2022/01/11
【摘要】 文章目录 一、 数据挖掘引入二、 数据挖掘简介三、 数据挖掘 与 KDD ( Knowledge Discovery From Data ) 从数据到知识四、 数据挖掘中的数据源五、 数据挖掘中的...



一、 数据挖掘引入



1 . 数据过载问题 :


① 海量数据 : 自动化的数据收集工具 和 成熟的数据库技术 , 积累了海量数据 ;

② 数据处理瓶颈 : 需要在 数据库 , 数据仓库 , 或其它信息介质中处理海量数据 ;


我们被数据淹死了 , 但是渴望知识 ; 数据太多并没有用 , 需要将 有用的知识 和 无用的信息 分辨出来 ;


2 . 解决方案 :


① 数据仓库技术 : 数据仓库技术 和 在线分析处理技术 ;

② 数据挖掘技术 : 从海量数据中 , 挖掘感兴趣的知识 ;



二、 数据挖掘简介



1 . 数据挖掘 ( Data mining ) : 其本质目的是将数据转换成知识 ; 从大量数据中 , 提取出感兴趣的 模式 ( Patterns ) 或 知识 ( Knowledge ) ;


2 . 数据挖掘 的代名词 :


① KDD ( 从数据到知识 ) : Knowledge Discovery From Data

② 知识抽取 : Knowledge Extraction ;

③ 数据 / 模式分析 : Data / Pattern Analysis ;

④ 信息收获 : Information Harvesting ;

⑤ 商务智能 : Business Intelligence


与数据挖掘类似的技术还有 模式识别 , 机器学习等 ;


3 . 查询处理 与 数据挖掘 :


① 数据库查询操作 : 在数据库中使用 SQL 语句查询 , 不属于数据挖掘范畴 , 这属于查询处理范畴 ;

② 查询处理 与 数据挖掘 区别 : 数据挖掘的 知识预先是不知道的 , 挖掘出来的知识准确性也不知道 , 数据库查询出来的都是可预见的 , 结果是精确的 ;



三、 数据挖掘 与 KDD ( Knowledge Discovery From Data ) 从数据到知识



数据挖掘可以看做 KDD 的一个步骤 ;


KDD 概念 : Knowledge Discovery From Data , 从数据到知识 ;


KDD 完整流程 : 第六个步骤就是 数据挖掘 , 数据挖掘大约占 KDD 的 1/4 工作量 ;


① 数据源 : 数据源的海量数据

② 数据继承 ( 过程 ) : 通过数据采集 , 从海量数据中采集目标数据 ;

③ 目标数据 : 产生目标数据 ;

④ 数据预处理 ( 过程 ) : 预处理目标数据 , 生成洁净数据 ;

⑤ 洁净数据 : 产生洁净数据 ;

数据挖掘 ( 过程 ) : 使用数据挖掘 , 从洁净数据中发现模式 ;

⑦ 模式 : 得到模式 ;

⑧ 评估表示 ( 过程 ) : 评估表示 数据挖掘得到的模式 , 得到知识 ;

⑨ 知识 : 最终得到的知识 ;

在这里插入图片描述

实际上工作时的数据挖掘包括了整个 KDD 所有流程 ;



四、 数据挖掘中的数据源



任何数据都可以用于数据挖掘 , 音乐数据 , 图像数据 , 视频数据 , 文本数据等都可以被挖掘 ;

数据挖掘的算法本质是一样的 , 只是针对不同的数据 , 进行对应的修改 ;



五、 数据挖掘中的特点



1 . 用于挖掘的数数据源 必须 真实 :


① 存在的真实数据 : 数据挖掘处理的数据一般是存在的真实数据 , 不是专门收集的数据 ;

② 数据收集 : 该工作不属于数据挖掘范畴 , 属于统计任务 ;


2 . 数据必须海量 :


① 少量数据处理 : 少量数据使用统计方法分析 , 不必使用数据挖掘 ;

② 海量数据 : 处理海量数据时 , 才使用数据挖掘 , 涉及到 有效存储 , 快速访问 , 合理表示 等方面的问题 ;


3 . 数据挖掘的查询是随机的 :


① 要求不精确 : 查询灵活 , 没有精确的要求 ( 无法用 SQL 语句写出来 ) ;

② 结果正确性未知 : 查询出来结果也不知道是否准确 ;


4 . 未知结果 :


① 挖掘结果 : 数据挖掘 挖掘出的知识是未知的 , 目的是为了发掘潜在的知识 , 模式 ;

② 知识使用 : 数据挖掘出的知识只能在特定领域使用 , 如金融领域数据挖掘结果 , 只能在金融领域及相关领域使用 ;

文章来源: hanshuliang.blog.csdn.net,作者:韩曙亮,版权归原作者所有,如需转载,请联系作者。

原文链接:hanshuliang.blog.csdn.net/article/details/105399824

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。