常用降维方法--机器学习简介

1. 机器学习简介

　　机器学习的萌芽诞生与19世纪60年代，20年前开始逐渐兴起，他是一门跨学科的交融。这里面包含了概率论、统计学等等学科。随着计算机硬件的提升，计算机运算速度的不断提高，它真正开始计入我们的日常生活当中。而在不久的将来，我相信它会成为我们生活中必不可少的组成元素。我们说说日常生活中机器学习的应用。第一个提到的最具代表性的公司应该就是google,它们所研发的GOOGLE NOW,GOOGLE PHOTOS 都是基于机器学习的产物。同样在百度，图片识别也是应用到机器学习中的视觉处理系统。于此同时，各种各样的企业都开始尝试把自己的产品往机器学习上靠拢。比如金融公司的汇率预测，股票涨跌。房地产公司的房价预测等等。

2. 常见机器学习算法

2.1 监督学习算法

　　如果在学习过程中，我们不断的向计算机提供数据和这些数据对应的值，比如说给计算机看猫和狗的图片，告诉计算机那些图片里是猫，那些是狗，然后在让它学习去分辨猫和狗。通过这种指引的方式，让计算机学习我们是如何把这些图片数据对应上图片所代表的物体。也就是让计算机学习这些标签可以代表那些图片。这种学习方式叫做“监督学习”。预测房屋的价格，股票的涨停同样可以用监督学习来实现。大家所熟知的神经网络同样是一种监督学习的方式。

2.2 非监督学习算法

　　同样在这种学习过程中，我只给计算机提供猫和狗的图片，但是并没有告诉它那些是猫那些是狗。取而代之的是，我让它主机去判断和分类。让它自己总结出这两种类型的图片的不同之处。这就是一种“非监督学习”，在这种学习过程中，我们可以不用提供数据所对应的标签信息，计算机通过观察各种数据之间的特性，会发现这些特性背后的规律。这些规律也就是非监督方法所学到的东西。

2.3 半监督学习算法

　　还有一种方法，综合了监督学习和非监督学习的特征，这种叫作“半监督学习”，它主要考虑如何利用少量有标签的样本和大量的没有标签样本进行训练和分类。在规划机器人的行为准则方面，一种机器人学习方法叫作“强化学习”，也就是把计算机丢到一个对于它完全陌生的环境或者让它完成一项从未接触过的任务。它自己回去尝试各种手段。最后让自己成功使用这一个陌生的环境。或者学会完成这件任务的方法途径。比如我想训练机器人去投篮，我们只需要给它一个球。并告诉它你投进了我给你记一分，让它自己去尝试各种各样的投篮方法。在开始阶段，它的命中率可能会非常低。不过它回像人类一样主机总结和学习投篮失败或成功的经验。最后达到很高的命中率。GOOGLE 开发的ALPHAGO 也就是应用了之一种学习方式。

2.4 遗传算法

　　还有一种和强化学习类似的学习方法，叫做遗传算法。这种方法是模拟我们熟知的进化理论，淘汰弱者，适者生存。通过这样的淘汰机制去选择最优的设计或模型。比如开发者所开发的计算机学会超级玛丽，最开始的马里奥1代可能不久就牺牲了，不过系统会基于1代的马里奥随机生成2代。然后在保存这些代里面最厉害的马里奥。淘汰掉比较弱的马里奥代，然后再次基于强者“繁衍和变异”，生出更强的马里奥，这也就是遗传算法的基本思想。

3. 机器学习的历史

　　1950年，计算机科学家 Alan Turing发明了所谓的图灵测试，计算机必须通过文字对话一个人，让人以为她在和另一个人说话。图灵认为，只有通过这个测试，机器才能被认为是“智能的”。1952年，Arthur Samuel创建了第一个真正的机器学习程序——一个简单的棋盘游戏，计算机能够从以前的游戏中学习策略，并提高未来的性能。接着是Donald Michie 在1963年推出的强化学习的tic-tac-toe程序。在接下来的几十年里，机器学习的进步遵循了同样的模式--一项技术突破导致了更新的、更复杂的计算机，通常是通过与专业的人类玩家玩战略游戏来测试的。
　　它在1997年达到巅峰，当时IBM国际象棋电脑深蓝（Deep Blue）在一场国际象棋比赛中击败了世界冠军加里·卡斯帕罗夫(Garry Kasparov)。最近，谷歌开发了专注于古代中国棋类游戏围棋(Go)的AlphaGo，该游戏被普遍认为是世界上最难的游戏。尽管围棋被认为过于复杂，以至于一台电脑无法掌握，但在2016年，AlphaGo终于获得了胜利，在一场五局比赛中击败了Lee Sedol。
　　机器学习最大的突破是2006年的深度学习。深度学习是一类机器学习，目的是模仿人脑的思维过程，经常用于图像和语音识别。深度学习的出现导致了我们今天使用的(可能是理所当然的)许多技术。你有没有把一张照片上传到你的Facebook账户，只是为了暗示给照片中的人贴上标签？Facebook正在使用神经网络来识别照片中的面孔。或者Siri呢？当你问你的iPhone关于今天的棒球成绩时，你的话语会用一种复杂的语音解析算法进行分析。如果没有深度学习，这一切都是不可能的。

4. 机器学习的应用场景

4.1 市民出行选乘公交预测　　

　　基于海量公交数据记录，希望挖掘市民在公共交通中的行为模式。以市民出行公交线路选乘预测为方向，期望通过分析广东省部分公交线路的历史公交卡交易数据，挖掘固定人群在公共交通中的行为模式，分析推测乘客的出行习惯和偏好，从而建立模型预测人们在未来一周内将会搭乘哪些公交线路，为广大乘客提供信息对称、安全舒适的出行环境，用数据引领未来城市智慧出行。2、基于运营商数据的个人征信评估运营商作为网络服务供应商，积累了大量的用户基本信息及行为特征数据，如终端数据、套餐消费数据、通信数据等等。实名制政策保证了运营商用户数据能与用户真实身份匹配，并真实客观的反映用户行为。广泛覆盖的网络基础设施提供了积累大量实时数据的条件，这些用户数据实时反馈着用户的各个维度的信息及特征。在我国，个人征信评估主要通过引用央行个人征信报告，但对于很多用户没有建立个人信用记录的用户，金融机构想要了解他们的信用记录成本又较高，传统征信评估手段难以满足目前多种多样的新兴需求。金融业务不同于其他大数据业务，对数据的真实性、可信度和时效性要求较高，而这正是运营商数据的价值所在。期望利用运营商用户数据，提供完善的个人征信评估。

4.3 商品图片分类　　

　　京东含有数以百万计的商品图片，“拍照购”“找同款”等应用必须对用户提供的商品图片进行分类。同时，提取商品图像特征，可以提供给推荐、广告等系统，提高推荐/广告的效果。希望通过对图像数据进行学习，以达到对图像进行分类划分的目的。

4.4 广告点击行为预测　　

　　用户在上网浏览过程中，可能产生广告曝光或点击行为。对广告点击进行预测，可以指导广告主进行定向广告投放和优化，使广告投入产生最大回报。希望基于100万名随机用户在六个月的时间范围内广告曝光和点击日志，包括广告监测点数据，预测每个用户在8天内是否会在各监测点上发生点击行为。

4.5 基于文本内容的垃圾短信识别　　

　　垃圾短信已日益成为困扰运营商和手机用户的难题，严重影响到人们正常生活、侵害到运营商的社会形象以及危害着社会稳定。而不法分子运用科技手段不断更新垃圾短信形式且传播途径非常广泛，传统的基于策略、关键词等过滤的效果有限，很多垃圾短信“逃脱”过滤，继续到达手机终端。希望基于短信文本内容，结合机器学习算法、大数据分析挖掘来智能地识别垃圾短信及其变种。

4.6 大数据精准营销中搜狗用户画像挖掘　　

　　“物以类聚，人以群分”这句古语不仅揭示了物与人的自组织趋向，更隐含了“聚类”和“人群”之间的内在联系。在现代数字广告投放系统中，以物拟人，以物窥人，才是比任何大数据都要更大的前提。在现代广告投放系统中，多层级成体系的用户画像构建算法是实现精准广告投放的基础技术之一。其中，基于人口属性的广告定向技术是普遍适用于品牌展示广告和精准竞价广告的关键性技术。在搜索竞价广告系统中，用户通过在搜索引擎输入具体的查询词来获取相关信息。因此，用户的历史查询词与用户的基本属性及潜在需求有密切的关系。希望基于用户历史一个月的查询词与用户的人口属性标签（包括性别、年龄、学历）做为训练数据，通过机器学习、数据挖掘技术构建分类算法来对新增用户的人口属性进行判定。

4.7 基于用户位置信息的商业选址　　

　　随着信息技术的快速发展，移动设备和移动互联网已经普及到千家万户。在用户使用移动网络时，会自然的留下用户的位置信息。随着近年来GIS地理信息技术的不断完善普及，结合用户位置和GIS地理信息将带来创新应用。如百度与万达进行合作，通过定位用户的位置，结合万达的商户信息，向用户推送位置营销服务，提升商户效益。希望通过大量移动设备用户的位置信息，为某连锁餐饮机构提供新店选址。

4.8 中文地址标准化处理　　

　　地址是一个涵盖丰富信息的变量，但长期以来由于中文处理的复杂性、国内中文地址命名的不规范性，使地址中蕴含的丰富信息不能被深度分析挖掘。通过对地址进行标准化的处理，使基于地址的多维度量化挖掘分析成为可能，为不同场景模式下的电子商务应用挖掘提供了更加丰富的方法和手段，因此具有重要的现实意义。3、非人恶意流量识别　　2016年第一季度Facebook发文称，其Atlas DSP平台半年的流量质量测试结果显示，由机器人模拟和黑IP等手段导致的非人恶意流量高达75% . 仅2016上半年，AdMaster反作弊解决方案认定平均每天能有高达 28% 的作弊流量。低质量虚假流量的问题一直存在，这也是过去十年间数字营销行业一直在博弈的问题。基于AdMaster海量监测数据，50%以上的项目均存在作弊嫌疑；不同项目中，作弊流量占广告投放5%到95%不等；其中垂直类和网盟类媒体的作弊流量占比最高；PC端作弊流量比例显著高于移动端和智能电视平台。广告监测行为数据被越来越多地用于建模和做决策，例如绘制用户画像，跨设备识别对应用户等。作弊行为，恶意曝光，网络爬虫，误导点击，甚至是在用户完全无感知的情况下被控制访问等产生的不由用户主观发出的行为给数据带来了巨大的噪声，给模型训练造成了很大影响。

　　希望基于给定的数据，建立一个模型来识别和标记作弊流量，去除数据的噪声，从而更好的使用数据，使得广告主的利益最大化。