智能运维+可视化：解决运维大数据分析的新思路——浙江大学教授/博导陈为

来源：《华为云SRE确定性运维专刊》第三期

      作者简介：陈为，浙江大学教授，博导，国家优秀青年基金获得者。十三五国家重点研发专项“云计算与大数据”总体组、指南组专家，浙江大学计算机学院副院长。承担国家自然科学基金重点项目等十余项。研究兴趣是大数据分析和人机混合智能。发表国际顶尖学术期刊和会议论文70余篇，出版数据可视化教材3部，大数据技术、可视分析专著两部。

      可视化研究简介
      可视化是一种通过交互的可视界面，辅助人类从数据中获取知识的有效手段[1]。通过将数据转换为易理解、易解释的视觉表达，有利于综合人脑智能和机器智能，提高分析的效率。可视化在宏观、概览、关联、隐性表达等方面具有不可替代的效用[2]。

      可视化的研究最早可以追溯到18世纪英国和法国的统计学家。美国是现代可视化研究的起源点以及最大的技术掌握国家，其研究广度和深度均为世界第一。德国、英国和法国，在可视化与工业界的结合方面，做出了巨大的贡献。中国的现代可视化研究起步较早，但中间停滞了十年，后重新发力，处于奋起直追的阶段。由于中国对大数据、互联网和人工智能的需求巨大，关注度高，学术界与工业界对大数据可视分析的热度有增无减。中国学者在可视化科研的贡献和知名度也逐渐上升。

      2008年以后，国内的知名大学纷纷形成了可视化研究的团队，国内学术界开始重点关注可视化的研究。国内自主举办的可视化年会ChinaVis，每年吸引500余人参会，已是世界第二大的可视化学术年会。知名的学术团队分布在浙江大学、清华大学、北京大学、香港科技大学、同济大学等，每年都在国际Top会议和期刊上发表论文，且在若干个研究子方向领先国际学术潮流。根据国际主流的计算机学科的学术影响力排行榜(http://www.csrankings.org，仅统计Top会议论文数量)，近五年香港科技大学、浙江大学、清华大学、北京大学的可视化研究水平已经跻身世界前二十位。中国计算机学会大数据专家委员会每年通过投票选出十大大数据热点问题，几乎每年都列入可视化。例如2014年：大数据分析与可视化；2015年：可视化分析与可视化呈现；2016年：可视化推动大数据平民化；2017年：可视化技术和工具提升大数据分析工具的易用性。

      可视分析是2004年以来新兴的一门以可视界面为主要信息通道，融合可视化、数据挖掘与人机交互，支持高效的数据分析与推理的学科[3]。其核心是面向复杂数据，在有限计算资源下，为完成给定任务目标，融合人类智能和机器智能的交互式分析范式。面向大数据的可视分析以视觉感知增强认知大数据为目标，以可视界面为主要信息交流通道，实现人类智能和机器智能的有效融合。在因时、因地、临场、应急、博弈等分析决策的场景（安全、军事、防灾减灾等），大数据可视分析是以人为中心的分析和决策场景下的关键范式[4]。

      智能时代的大数据可视分析

      经过接近30年的深入研究，可视化在支持人的宏观概览、态势感知、证据关联、模糊搜索等方面展示了其天然强大的能力。在人工智能的新时代，可视化如何增强人的认知、以及如何更好地将人机智能融合等科学问题，涵盖了认知科学、信息科学、神经科学、数学、统计学等多个学科方向。 
从认知的角度看，可视化的本质是通过将数据或信息转换为可视表达，以人眼的感知能力来增强人的认知能力。而基于计算智能完成信息理解的机器学习理论与方法[5]（如有监督学习、半监督学习、增强学习），核心目标是：从输入的人类智能和训练样本中，学习出有效的特征表达，在特征表达上由机器自动完成给定任务。两类方法思路不同，目标一致。

      智能科学的发展历史，经历人类与外界环境交互过程中从感知、到理解、到认知、到决策与行动的不同阶段。早期人工智能的目标是替代人类的特定任务。当前的人工智能只实现了面向某些特定领域的智能，实现普适的通用人工智能任重道远。为此，现今智能科学从单纯追求自动的机器智能到高水平人机和脑机协同，走向混合智能的新形态[6]。例如，人机协同的太空机器人，协同作战机器人，已成为人类智能的自然延伸和增强，并以人机群组协同的方式解决社会、经济发展面临的重大问题[7]。在2017年9月发布的中国工程院重大咨询研究项目关于“中国人工智能2.0发展战略研究”中，提到 “在人工智能2.0的新时代，可视交互引擎通过可视的人机交互、数据呈现和知识表达，形成人机协同网络中混合增强智能的最主要交互界面，促使不同来源的数据到可理解的知识的迭代更新，从而实现大数据驱动的人机融合智能”，并将“可视交互引擎”列为大数据智能的关键技术之一[8]。

      智能运维+可视化

      数字经济是新时期经济发展的源动力，而运维技术能够为数字经济的安全稳定运行保驾护航。随着各行业体量的增长，系统日益复杂，运维监控的数据量也越来越大。运维技术需要与智能化技术相结合，挖掘、洞察、理解运维大数据中蕴涵的模型和知识。尽管人工智能理论取得了很大的进步，能够在完全确定环境下解决很多任务，但人类智能和机器智能的结合仍将长期扮演关键角色。已有的数据挖掘、机器学习、统计分析等方法在处理复杂数据或进行探索式分析时，依然面临极大的挑战。当面临常识性推理、语义分析、领域内专业知识等问题时，尚无通用解法。因此智能运维需引入人类的认知能力，融合机器智能与人类智能，引导机器智能向目标任务和对象靠拢，提高运维大数据计算与分析的效率。

      理解与分析纷繁复杂的运维大数据，具有三个挑战：数据的复杂性、认知的局限性、任务的多样性。首先，很多场合下，运维大数据的分析与决策需要人的参与，需重点考虑人的感知和认知因素，设计复杂数据（海量高维、多源异构、实时变化、动态模糊）的高表现力呈现方式，探索支持交互的数据组织、查询、挖掘的高效方法；其次，随着新理念的落地和新需求的扩展，对运维大数据也涌现出更高更多的精细化分析和智能化挖掘要求。在复杂空间对事件进行分析和推理，对分析方法在认知的直观性、实时性和精准性等多个方面形成巨大挑战；第三，运维大数据中蕴含复杂且尺度巨大的空间结构、快速的物理运行演化以及大量的人类生活和社会活动，导致需求的无限多样性，如何发挥人的智能和机器智能的各自优势成为核心挑战。

      可视分析技术能够在智能运维中发挥作用，以解决三个挑战。大数据可视分析旨在面向数据、人、机器智能和应用场景等四个要素的有效耦合这一核心目标，在"几何抽象、感知驱动、人机融合、场景约束"等思想指导下，克服复杂数据的可视表达与交互可视分析等问题。可视分析能够面向“数据的复杂性、认知的局限性、任务的多样性”三个挑战为大数据时代的智能运维提供理论方法和计算模式，以支持复杂场景下的运维需求。

      参考文献
      [1] Matthew O. Ward, Georges Grinstein, Daniel Keim. Interactive Data Visualization: Foundations, Techniques, and Applications[M]. AK Peters Press.
      [2] 陈为, 沈则潜, 陶煜波. 数据可视化[M]. 电子工业出版社, 2019年.
      [3] James J. Thomas. Illuminating the Path: The Research and Development Agenda for Visual Analytics[M]. IEEE Computer Society Press, 2005.
      [4] 陈为, 巫英才, 鲍虎军. 大数据可视分析的方法与应用[M]. 化学工业出版社, 2019年.
      [5] 周志华. 机器学习[M], 清华大学出版社, 2016.
      [6] 新一代人工智能规划, 国务院，2017年7月8日.
      [7] 2030年的人工智能与生命科学, 斯坦福大学, 2017年.
      [8] 中国人工智能2.0 发展战略研究, 中国工程院重大咨询研究项目第一期报告, 2017年9月.