《HoloLens与混合现实开发》—1.4.2　软件产品

1.4.2　软件产品

为了快速高效地开发AR/VR应用服务，0glass基于自己的工业级AR智能眼镜开发了完整的AR应用服务开发栈：NginABC（AR应用服务开发引擎）、0glass-DLP（0glass深度学习平台）、AR-PSS（全终端增强现实工作辅助系统）、Hubble（增强现实远程工作指导系统）。

其中，AR-PSS是0glass AR应用服务开发栈的核心。AR-PSS内嵌NginABC和0glass-DLP。Hubble可以作为AR-PSS的外挂模块。

0glass AR应用服务开发栈的架构示意图如图1.14所示。

1. NginABC

目前，NginABC是国内唯一的工业AR服务引擎。NginABC以设备状态、机器操作为重点内容进行图像和视觉处理，从原生的工业逻辑出发，构建精准的领域应用。

NginABC包括AR（Augmented Reality，增强现实）、BD（Big Data，大数据）、CV（Computer Vision，计算机视觉）三方面的SDK，即NginAR、NginBD、NginCV，如图1.15所示。

NginAR包括单目视觉惯性6DoF状态估计、SLAM空间定位、（多）目标识别与跟踪、目标位置增强内容表现、多操作系统支持、Unity 3D支持、多图像引擎支持（OpenGL、Direct3D等）、多建模文件导入（ProE、Maya、3D Max等）、应用程序全平台导出等内容。

NginBD包括工业场景数据采集、储存、处理。

NginCV包括工业场景基础视觉算法库和物理世界入口图像识别算法库，用于工业场景的目标和状态识别。

NginABC（AR应用服务开发引擎）目前的版本为3.0。

2. 0glass-DLP

0glass-DLP目前的版本为1.0。0glass深度学习平台主要包含数据集管理、任务管理、云识别管理。

0glass-DLP目前支持TensorFlow、Keras、Torch、Caffe、Yolo等主流深度学习框架。

0glass-DLP与客户业务深度结合，降低使用门槛，简化训练流程，能够让客户在自己的使用场景中迅速解决所遇到的计算机视觉问题。

NginCV算法库中的部分算法可以由0glass-DLP快速生成。

0glass深度学习平台可以选择部署在私有云或公有云下。云识别服务器、Web服务器、深度学习训练服务器可以分开部署也可以集中部署，如图1.16所示。

图1.16

3. Hubble

增强现实远程工作指导系统（Hubble）是以视频通信为基础，以电子白板、录音、录像、拍照等功能为依托，以AR技术为核心，集数据加密传输、安全存储、增强现实协助、业务场景适配为一体的智能通信平台。

Hubble非常适用于远程协作、远程指挥、远程培训、远程审计等应用场景，实现了第一视角的远程沉浸。公有云部署的Hubble可以保证企业对互联网高质量音频通话、视频通话和远程电子白板等需求。

Hubble目前的版本为1.0，同时发布了英文版本。

作为一个远程工作指导系统，Hubble的系统功能依据专家侧和作业侧进行划分。整个系统的功能架构，如图1.17所示。

图1.17

4. AR-PSS

AR-PSS（全终端增强现实工作辅助系统）是一款工业软件开发平台。AR-PSS是以工业作业规范为前提，以工业任务为基础，以工业设备为中心，集AR、工业大数据处理、智能算法为一体的开发平台。AR-PSS目前发布的版本为2.0。系统主要特点如下。

1）安全的多租户管理：AR-PSS支持集成多租户管理功能，不同公司或分公司数据分离，保证数据安全性。

2）零基础AI算法快速生成：AR-PSS内嵌深度学习平台0glass-DLP，支持用户自定义的深度学习算法，实现了深度学习零门槛入门和应用，让深度学习的应用延伸到工业场景一线人员。

3）高效的AR辅助指导和监督：以AR技术为核心，以设备识别为基础，以AR眼镜为载体，实现实际作业场景中的AR辅助，帮助作业人员快速定位设备问题、识别设备状态。同时融入远程协助工具，加强远程实时指导，确保问题解决。

4）规范的工业作业流程管理：实现工业作业流程的数字化、可视化，让工作人员严格按照标准流程作业，实现规范化作业、规范化管理。

5）全终端应用：AR应用部署支持平板电脑、智能手机、智能眼镜等终端，移动终端集定位、实物标识读取、拍照、录音、视频、远程协助为一体，提升数据采集和工作的效率。

6）方便的业务流程自定义：以设备为中心，通过模块化和参数化设计实现了业务流程的自定义，客户可以方便地自定义工作内容、路线、操作、工具等业务流程细节，大大提高了工业软件的开发效率。

7）开放的API：提供开放的API，便于与ERP、MES等工业信息系统集成，实现了与设备台账、工单、任务票、工作票、生产计划等数据和信息系统的无缝对接和及时联动。

AR-PSS开发平台采取B/S架构，通过浏览器即可访问。平台的登录界面，如图1.18所示。

图1.18

登录成功后即可进入开发平台。第9章将简要介绍基于AR-PSS的AR应用开发。