大数据及其运用

       大数据，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 每天数以亿计的数据，被存储到服务器里。由于这些数据很庞大，所以被称为大数据。再根据基础大数据，在后台进行智能分析。就能分析出指定用户的物喜好。然后通过挖掘大数据的结果，向用户推送。这就是大数据时代，给你我带来的便利。因为海量的数据需要采用多个数据库来进行存储和处理。即分布式存储。目前解决的方案，是采用hadoop架构。Hadoop实现一个分布式存储，具有高容错性、高吞吐量来访问应用程序的数据，适合超大数据集的应用程序。Hadoop的高吞吐，海量数据处理的能力使人们可以方便地处理海量数据。但hadoop不擅长实时计算，另一项大数据技术storm由此而生。他具有实时的数据处理能力。

    对于体育爱好者，追踪电视播放的最新运动赛事几乎是一件不可能的事情，因为有超过上百个赛事在8000多个电视频道播出。而现在市面上开发了一个可追踪所有运动赛事的应用程序RUWT，它已经可以在iOS和Android设备，以及在Web浏览器上使用，它不断地分析运动数据流来让球迷知道他们应该转换成哪个台看到想看的节目，在电视的哪个频道上找到，并让他们在比赛中进行投票。对于谷歌电视和TiVo用户来说，实际上 RUWT就是让他们改变频道调到一个比赛中。一般来说，大多数公司都希望有几个大数据项目，公司的首要方针是增强客户体会，但其他方针包含降低成本，更有针对性地进行营销，并使现有流程更有功率。近来，数据泄露也使安全性成为大数据项目需求处理的重要问题。但是，更重要的是，当涉及到大数据时，你地点的方位是在哪里？你很可能会发现你处于以下几种状况之一：想要弄清楚大数据中是否存在真实的价值；评估商场时机的规划；开发运用大数据的新效劳和产品；现已运用大数据处理计划从头定位现有的效劳和产品以运用大数据，或许现已运用大数据处理计划。

      证券买卖委员会（SEC）正在运用大数据来监控金融商场活动。他们现在正在运用网络剖析和自然语言处理器来捕捉金融商场的非法买卖活动。金融商场的零售商，大银行，对冲基金和其他所谓的“大男孩”运用大数据进行高频买卖，买卖前决议计划支撑剖析，心情丈量，猜测剖析等方面的买卖剖析。该职业还严峻依靠大数据进行危险剖析，包含反洗钱，企业危险办理，“了解你的客户”和削减诈骗。

       大数据的另一方向就是机器学习，要想得到一个高效的机器学习系统。就需要先用少量的数据去训练它。在少量的数据下机器学习系统不出错。再加大学习量，最终就能通过反复测试上线。大数据下的机器学习需要很多学习样本，在大量的学习样本下。机器可以类似于人工一样筛选，分析处理得到有用的数据，最终将结果反馈给用户。机器学习要掌握R语言、python和mahout技术。机器学习应用前景很广，不只是大数据可以使用。可能会成为未来程序员必修的课程。一项研讨对10个尖端出资和零售事务银行的16个项目进行了查询，成果显现：职业的应战包含：证券诈骗预警，超高频金融数据剖析，信用卡诈骗检测，审计盯梢归档，企业信用危险陈述，买卖可见度，客户数据变换，买卖的社会剖析，IT运营剖析和IT战略合规性剖析等。