大数据的挖掘“大”在哪里?
来源：曾剑平|
类型：网站百科|
时间：2017-12-11
以前我们谈论数据挖掘，而大数据时代我们谈论大数据挖掘。那么大数据挖掘“大”在哪里? 本文对此进行了一些归纳，希望能提供一些思考问题的方法。
不足之处请留言发表意见。
一、数据量的大
数据量大到多少? 这是一个很多人在进行大数据挖掘时要问的问题。
从一些实际应用看，一般每天处理的数据量达到T、P级别的，可以考虑部署Hadoop、Spark之类的大数据处理平台，一定量级的数据处理才能突显这些平台的优越性。
数据量少，数据的读取、搬迁所花费的时间占比太多，反而无法体现大数据处理平台的优势。不少应用只是为了大数据而大数据，几百M也弄个Hadoop。因此，现在一谈大数据就认为是Hadoop、Spark等平台是很有局限性的。
当然，实际在决定是否使用大数据平台时，可能需要考虑更多的因素，例如：要集成很多的低性能机器、异构软硬件平台间的可移植性、大量的非结构化数据处理等。
二、数据类型的多样化
在数据挖掘时代，我们挖掘的数据主要以关系型数据为主。大数据时代，各种应用产生了各种数据，通常在大数据挖掘中会涉及到多种数据类型。这里所说的数据类型不是程序设计中的普通数据类型，而是更接近于应用的数据表现形式，通常有时间序列数据、轨迹数据、图数据、文本数据等等。
每天的销售记录、价格是普通数据类型，但是从时间维度将它们按照顺序连接起来，构成的时间序列数据能体现出价格的变化规律，理所当然具有更丰富的含义。
每个人所处的位置不过是一个（x,y）的普通数据类型，但是按照移动的先后顺序把位置连接起来，就构成了某人的活动轨迹，背后体现的是他的生活、习惯，这些隐藏信息才是大数据应当关注的。
微博或论坛中每个人是独立存在的，也是普通数据，但是如果把每个人按照粉丝、关注等关系连接起来，就可以构成一张很大的图，即图数据。图中的人群、离群，以及加上群体偏好、群体运动等属性后的高等图数据，就是大数据挖掘的关注点。
三、数据处理的噪音
在数据挖掘时代，数据来源于关系型数据库，都是一些与业务相关、质量比较高的数据，一般拿来就可以直接挖。大数据挖掘肯定就不是这样，大数据思维决定了我们要考虑不同来源的数据的质量、数据结构鱼龙混杂，以增强数据处理的鲁棒性。比如，要进行企业级的客户分析，不同的分公司可能使用不同的客户管理系统，有的系统采用本科/硕士/博士来区分客户的学历，而有的采用本科/研究生来区分，这就要求考虑数据的一致性处理。此外，数据格式、数据完整性等等都是大数据挖掘需要考虑的。
四、数据挖掘的多样化
在数据挖掘时代，一般侧重于单项的数据分析，而大数据挖据可能会更侧重于多项数据挖掘任务同时存在，如业务上同时要求分类、预测、相关性、聚类等。尽管业务需求多了，但是这些分类、预测、相关性、聚类可能在底层上采用的是同一种模型，因此，在大数据挖据时考虑模型、算法与业务的分离是非常重要的，即所谓的大数据处理层次结构。
来源声明：本文章系尚品中国编辑原创或采编整理，如需转载请注明来自尚品中国。以上内容部分(包含图片、文字)来源于网络，如有侵权，请及时与本站联系（010-60255689）。
TAG标签：
推荐新闻
更多新闻-
如何做网络营销
这些问答平台都拥有众多的用户群。企业进行问答平台营销的过程中，国内主要...
2012-07-11 -
SEO优化之竞争百度SEO的最后几名
SEO优化之竞争百度SEO的最后几名从SEO网站优化这个词已经有将近一...
2011-11-24 -
海淀网站建设-如何对竞争对手的网站进行分析？
一、查推广方法对手的网站都用了哪些推广方法呢？1、链接方式在百度（GO...
2018-08-16 -
论坛营销绝不仅仅是论坛发帖推广
所以只要大家在生活中多发现，论坛营销是一个非常草根化非常生活化的一种营...
2012-07-06 -
都有哪些你不知道的网页设计师基础技能
迅速发展趋势的技术应用、千姿百态的发展趋势、数不胜数的软件和素材，全部...
2019-09-17 -
网络证券的含义
随着科技的发展，各种网络新鲜事物不断出现，例如：网站设计，网络证券，网...
2014-08-29
关于我们
扫一扫关注尚品最新动态
2008年尚品中国成立于北京，尚品创立至今共为3000多客户成功完成任务，并上线使用。
我们专注高端网站建设，网站制作，品牌网站设计，集群建站、业务系统开发，APP开发，SEO优化等业务，为用户提供一站式解决方案，并且为用户获取更多用户流量，达到用户理想的业绩指标。
-
北京总部010-60259772
地址：中国 · 北京市大兴区西红门兴创国际中心A座501
-
天津公司022-58793660
地址：中国 · 天津市河西区国际贸易中心C座3614
Copyright © 2020 尚品中国 版权所有 | 京ICP备09066521 | 公安机关备案号:11011502003910免责声明诚信企业
尚品专注高端网站建设，系统平台开发，APP开发，SEO优化服务
尚品专注高端网站建设，系统平台开发，APP开发，SEO优化服务
免责声明
非常感谢您访问我们的网站。在您使用本网站之前，请您仔细阅读本声明的所有条款。
1、本站部分内容来源自网络，涉及到的部分文章和图片版权属于原作者，本站转载仅供大家学习和交流，切勿用于任何商业活动。
2、本站不承担用户因使用这些资源对自己和他人造成任何形式的损失或伤害。
3、本声明未涉及的问题参见国家有关法律法规，当本声明与国家法律法规冲突时，以国家法律法规为准。
4、如果侵害了您的合法权益，请您及时与我们,我们会在第一时间删除相关内容!
联系方式：010-60255689
电子邮件：394588593@qq.com
