测速目标
- 明确测试目标：确定要测量的加速器类型（如GPU、TPU等）、工作负载（如训练、推理等）、数据规模、性能指标（如每秒浮点运算量、内存带宽等）。
- 关注关键指标：如加速器的单线程性能、多线程性能、内存带宽、能效等。
测试环境
- 硬件环境：
- 测试的物理或虚拟环境（如多核CPU、GPU、TPU等）。
- 操作系统（如Linux、Windows等）。
- 内存和存储资源。
- 软件环境：
- 测试工具（如SUNSET、STREAM、OVRT等）。
- 框架（如TensorFlow、PyTorch、ONNX等）。
- 语言（如Python、C++等）。
测速方法
- 单线程测速：测试加速器在单线程任务上的性能（如矩阵乘法、卷积等）。
- 多线程测速：测试加速器在多线程任务上的性能（如数据并行、模型并行等）。
- 内存测速：测试加速器与主机内存之间的带宽。
- 能效测速：测试加速器在完成任务时的能耗。
测试工具
- 性能测试工具：如SUNSET（Simple Universal Netlib Benchmark）用于测量加速器的性能。
- 框架自带测试：如TensorFlow中的
timeit功能。 - 专业测速库：如
benchmind、deepspeed等。
测试结果分析
- 性能指标：
- 单线程性能：如FLOPS（浮点运算每秒）。
- 多线程性能：如并行速率、吞吐量。
- 内存带宽：如GB/s。
- 能效：如每秒能耗（W）。
- 排行榜：根据性能指标对不同加速器进行排序，通常会展示加速器的“性能/功耗”比率或“性能/成本”比率。
加速器测速的注意事项
- 负载类型：测试的负载（如训练、推理）会影响结果,确保测试负载与实际应用场景一致。
- 热度测试：在长时间运行后,测试加速器的热稳定性和性能下降情况。
- 环境因素：如温度、噪音等可能影响测速结果。
- 软件优化：确保测试工具和框架对加速器的支持较好,避免软件瓶颈。
加速器排行的意义
- 帮助选择最适合的加速器类型和配置,优化计算性能。
- 为硬件选择提供参考，支持云计算、边缘计算等场景。
- 促进加速器的性能改进和竞争。
