【数据挖掘】-到底在解决什么问题(一)

举报
Lingxw_w 发表于 2023/04/27 14:26:20 2023/04/27
【摘要】 ​目录1、数据挖掘是什么?2、数据挖掘能做什么?分类问题:​编辑聚类问题:​编辑回归问题:关联问题:3、怎么做数据挖掘业务理解(Business Understanding)  数据理解(Data Understanding)数据准备(Data Preparation) 构建模型(Modeling)评估模型(Evaluation)模型部署(Deployment)1、数据挖掘是什么?数据挖掘:...

目录

1、数据挖掘是什么?

2、数据挖掘能做什么?

分类问题:

​编辑聚类问题:

​编辑回归问题:

关联问题:

3、怎么做数据挖掘

业务理解(Business Understanding) 

 数据理解(Data Understanding)

数据准备(Data Preparation)

 构建模型(Modeling)

评估模型(Evaluation)

模型部署(Deployment)


1、数据挖掘是什么?

数据挖掘:寻找数据中隐含的知识并用于产生商业价值。

 数据挖掘提供了一系列的框架、工具和方法,可以处理不同类型的大量数据,并且使用复杂的算法部署,去探索数据中的模式。

产生原因:

2、数据挖掘能做什么?

分类问题:

对已知类别的数据进行学习,为新的内容标注一个类别


聚类问题:

聚类的类别预先是不清楚的比较适合一些不确定的类别场景。

回归问题:

回归问题的最大特点――生成的结果是连续的。

使用回归的方法预测北京某个房子的总价(y)
假设总价只跟房子的面积(x)有关,那么构建的方程式就是ax+b=y
回归方法―—通过构建一个模型去拟合已知的数据(自变量),然后预测因变量结果

http://t.csdn.cn/Q2gpj机器学习:丰田卡罗拉价格回归分析案例 http://t.csdn.cn/Q2gpj

关联问题:

最常见的一个场景—―推荐

3、怎么做数据挖掘

数据挖掘是有方法论
数据挖掘经过了数十年的发展和无数专家学者的研究,有很多人提出了完整的流程框架
应用最多的方法论∶
CRISP-DM(Cross-industry Standard Process for Data Mining,跨行业数据挖掘标准流程)
 

业务理解(Business Understanding) 

业务理解――理解你的数据挖掘要解决什么业务问题
必须从商业或者从业务的角度去了解项目的要求和最终的目的
去分析整个问题涉及的资源、局限、设想,甚至是风险、意外等情况

 数据理解(Data Understanding)

 数据理解阶段始的重点:
在业务理解的基础上,对掌握的数据要有一个清晰、明确的认识

 注意:数据理解和业务理解是相辅相成的

数据准备(Data Preparation)

数据准备是基于原始数据,去构建数据挖掘模型所需的数据集的所有工作
包括数据收集、数据清洗、数据补全、数据整合、数据转换、特征提取等
一系列动作

 

 构建模型(Modeling)

构建模型也叫作训练模型,重点解决技术方面的问题。

选用各种各样的算法模型来处理数据,让模型学习数据的规律,并产出模型
如果有多重技术要使用,在这一任务中,对于每一个要使用的技术要分别对待比如SVM算法只能输入数值型的数据。

评估模型(Evaluation)

模型的效果如何,能否满足业务需求
需要使用各种评估手段、评估指标甚至是让业务人员一起参与进来,彻底地评估模型

模型部署(Deployment)

解决一些实际的问题,比如
长期运行的模型是否有足够的机器来支撑,数据量以及并发程度会不会造成部署的服务出现问题
 

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。