AnTuTu发布了测试智能手机AI性能的基准测试

过去几年，越来越多的公司将AI（人工智能）作为区分其产品与竞争对手的手段。AI的使用范围从理解语音命令到识别场景到执行直接命令，从而使得必须减少客户和服务之间的摩擦。由于其受欢迎程度的普及，人工智能现在被广泛滥用为流行语，现在是时候建立一些测量这种功能的系统了。

AnTuTu以其流行的基准测试应用程序而闻名，它已经为自己提供了一个可量化的标准，供每个人判断不同平台的AI性能差异。为此目的奠定基石，AnTuTu与芯片制造商合作推出了一款名为“AI Review”的基准测试应用，专注于测量智能手机的AI性能。

AnTuTu的AI Review博客文章首先指出了衡量像人工智能这样庞大的东西的困难。目前在智能手机领域，没有任何统一的AI标准，这反过来又导致了每个芯片制造商都有自己对AI的理解和实施的情况。高通通过Hexagon DSP处理一些人工智能操作; 华为的HiSilicon通过独立的NPU处理它; 三星和联发科还通过分别称为NPU和APU的专用芯片处理AI操作。硬件和软件之间的协同作用使这种情况更加复杂，这对于有效的AI性能至关重要。每个供应商都提供自己的AI SDK - 高通有SNPE，联发科有NeuroPilot，海思有HiAI等等。

AnTuTu的AI Review基准分为两个子类：图像分类和对象识别。图像分类测试检查包含200个图像的测试数据，并且基于Inception v3神经网络，而对象识别测试检查600帧视频并且基于MobileNet SSD神经网络。然后将这些神经网络转换为制造商通过供应商提供的SDK支持的神经网络。如果芯片不支持与AI相关的算法，基准测试应用程序使用TFLite进行基准测试，AnTuTu自己的结果警告不满意且不可靠。

基准评分与速度和准确性直接相关。如果准确性以速度换取，AnTuTu会对得分进行处罚。这会阻止人工智能基准作弊，而这种作弊本来就是依靠提供快速但错误的结果。

AnTuTu还为其应用程序的使用做了一些特别的评论。使用相同AI处理器的平台不太可能有较大的分数差距，因为基准测试不仅仅是测试性能，而是侧重于AI性能。三星尚未发布其AI SDK，而海思正在利用TFLite来实现某些功能，这意味着他们的分数将会很低，直到这些情况得到改善。由于Google本身一直在系统级别优化AI的支持，因此该设备的基本Android版本也将对分数产生影响。

即使是从AnTuTu自己的博客文章中，很明显，通过简单地将其降低到一个数字，可能无法实现衡量基于AI的性能的目标  。基于AI的计算涉及许多变量，这为不同硬件和软件解决方案之间已经很复杂的交互增加了另一层复杂性。基准测试活动产生的奇异数值分数并不能完全符合人工智能世界所涉及的细微差别。因此，虽然你可以看一下你的分数并且在金钱上感受到一种自豪感，但要知道我们仍然处于AI的相对早期阶段，尤其是人工智能基准测试。