喜报！尚品中标中建二局第三建筑工程有限公司官网建设项目

类型：官网建设了解更多

首页/ 新闻/ 网站建设 /正文

大数据的挖掘“大”在哪里?

来源：曾剑平| 类型：网站百科| 时间：2017-12-11

以前我们谈论数据挖掘，而大数据时代我们谈论大数据挖掘。那么大数据挖掘“大”在哪里? 本文对此进行了一些归纳，希望能提供一些思考问题的方法。

不足之处请留言发表意见。

一、数据量的大

数据量大到多少? 这是一个很多人在进行大数据挖掘时要问的问题。

从一些实际应用看，一般每天处理的数据量达到T、P级别的，可以考虑部署Hadoop、Spark之类的大数据处理平台，一定量级的数据处理才能突显这些平台的优越性。

数据量少，数据的读取、搬迁所花费的时间占比太多，反而无法体现大数据处理平台的优势。不少应用只是为了大数据而大数据，几百M也弄个Hadoop。因此，现在一谈大数据就认为是Hadoop、Spark等平台是很有局限性的。

当然，实际在决定是否使用大数据平台时，可能需要考虑更多的因素，例如：要集成很多的低性能机器、异构软硬件平台间的可移植性、大量的非结构化数据处理等。

二、数据类型的多样化

在数据挖掘时代，我们挖掘的数据主要以关系型数据为主。大数据时代，各种应用产生了各种数据，通常在大数据挖掘中会涉及到多种数据类型。这里所说的数据类型不是程序设计中的普通数据类型，而是更接近于应用的数据表现形式，通常有时间序列数据、轨迹数据、图数据、文本数据等等。

每天的销售记录、价格是普通数据类型，但是从时间维度将它们按照顺序连接起来，构成的时间序列数据能体现出价格的变化规律，理所当然具有更丰富的含义。

每个人所处的位置不过是一个（x,y）的普通数据类型，但是按照移动的先后顺序把位置连接起来，就构成了某人的活动轨迹，背后体现的是他的生活、习惯，这些隐藏信息才是大数据应当关注的。

微博或论坛中每个人是独立存在的，也是普通数据，但是如果把每个人按照粉丝、关注等关系连接起来，就可以构成一张很大的图，即图数据。图中的人群、离群，以及加上群体偏好、群体运动等属性后的高等图数据，就是大数据挖掘的关注点。

三、数据处理的噪音

在数据挖掘时代，数据来源于关系型数据库，都是一些与业务相关、质量比较高的数据，一般拿来就可以直接挖。大数据挖掘肯定就不是这样，大数据思维决定了我们要考虑不同来源的数据的质量、数据结构鱼龙混杂，以增强数据处理的鲁棒性。比如，要进行企业级的客户分析，不同的分公司可能使用不同的客户管理系统，有的系统采用本科/硕士/博士来区分客户的学历，而有的采用本科/研究生来区分，这就要求考虑数据的一致性处理。此外，数据格式、数据完整性等等都是大数据挖掘需要考虑的。

四、数据挖掘的多样化

在数据挖掘时代，一般侧重于单项的数据分析，而大数据挖据可能会更侧重于多项数据挖掘任务同时存在，如业务上同时要求分类、预测、相关性、聚类等。尽管业务需求多了，但是这些分类、预测、相关性、聚类可能在底层上采用的是同一种模型，因此，在大数据挖据时考虑模型、算法与业务的分离是非常重要的，即所谓的大数据处理层次结构。

来源声明：本文章系尚品中国编辑原创或采编整理，如需转载请注明来自尚品中国。以上内容部分(包含图片、文字)来源于网络，如有侵权，请及时与本站联系（010-60255689）。

上一篇：H5（手机端）网站建设发展趋势下一篇：第三方支付开始陆续关闭信用卡充值业务

TAG标签：

建站流程

网站需求
网站策划方案
页面设计风格
确认交付使用
资料录入优化
程序设计开发
后续跟踪服务
联系电话
010-60259772

关于我们

扫一扫关注尚品最新动态

2008年尚品中国成立于北京，尚品创立至今共为3000多客户成功完成任务，并上线使用。

我们专注高端网站建设，网站制作，品牌网站设计，集群建站、业务系统开发，APP开发，SEO优化等业务，为用户提供一站式解决方案，并且为用户获取更多用户流量，达到用户理想的业绩指标。

北京总部

010-60259772
地址：中国 · 北京市大兴区西红门兴创国际中心A座501
天津公司

022-58793660
地址：中国 · 天津市河西区国际贸易中心C座3614

友情链接：

城市分站：

尚品专注高端网站建设，系统平台开发，APP开发，SEO优化服务

免责声明

非常感谢您访问我们的网站。在您使用本网站之前，请您仔细阅读本声明的所有条款。

1、本站部分内容来源自网络，涉及到的部分文章和图片版权属于原作者，本站转载仅供大家学习和交流，切勿用于任何商业活动。

2、本站不承担用户因使用这些资源对自己和他人造成任何形式的损失或伤害。

3、本声明未涉及的问题参见国家有关法律法规，当本声明与国家法律法规冲突时，以国家法律法规为准。

4、如果侵害了您的合法权益，请您及时与我们,我们会在第一时间删除相关内容!

联系方式：010-60255689
电子邮件：394588593@qq.com

高校集群解决方案

强军网建设解决方案

政府事业解决方案

智慧会展解决方案

科研领域解决方案

智慧景区解决方案

海外房产解决方案

网站建设

移动互联网

网络营销

创新应用

喜报！尚品中标中建二局第三建筑工程有限公司官网建设项目

大数据的挖掘“大”在哪里?

建站流程

网站需求

网站策划方案

页面设计风格

确认交付使用

资料录入优化

程序设计开发

后续跟踪服务

热门标签

最新文章

网站建设标准的几个要素分享

建设网站前期应该准备什么资料？

网站建设公司在网页中使用视觉设计的主要目的？

为什么企业网站建是不可缺少的？

在建设营销性网站时应该注意哪些问题？

推荐新闻

什么样网站或什么类型的网站才会被百度K掉?

网页图像优化

网站导航的策划

网站建设之在线客户界面设计

博客企业站如何做SEO优化

浅谈如何才能成为一个运营高手

关于我们

免责声明

现在就与专业咨询顾问沟通！

免责声明