NPUbench–评估指标以及使用方法

NPUbench评估指标：

性能指标  MAC/S

Multiply and Accumulate operations per Second，即每秒执行乘加操作的数量，这一指标主要用于度量NPU在计算性能方面的表现。

功耗指标 MAC/S/W

Multiply and Accumulate operations per Second per Watt，即每秒每瓦执行乘加操作的数量，这一指标主要用于度量NPU在能耗方面的表现。

NPUbench使用方法：

首先把NPUbench评测套件中适合待测神经网络处理器的神经网络模型部署到待测神经网络处理器上，NPUbench在运行时有两种模式可以选择：第一种模式是将Batch参数设置为1，从而会记录神经网络处理器处理一个Batch数据时的性能，第二种模式是把Batch参数设置到最大，尽可能的达到待测神经网络处理器的性能极限，这一模式是用来记录NPU的最大吞吐性能。运行NPUbench后，根据所选择的模式请按照下表中的记录模板对待测神经网络处理器的性能表现进行记录。

模式一记录模板

模式二记录模板

需要注意的是在使用过程中为了保证测试过程的公平性，首先使用者必须保证不会更改任何神经网络结构描述文件以及神经网络模型中的数据。其次NPUbench要求所记录的结果必须都是准确率不低于该神经网络模型标准准确率的1%的那些性能数据。