DoubleBuffer【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit执行于AI Core上的指令队列主要包括如下几类即Vector指令队列、Cube指令队列和MTE指令队列。不同指令队列间的相互独立性和可并行执行性是DoubleBuffer优化机制的基石。矢量计算CopyIn、CopyOut过程使用MTE指令队列MTE2、MTE3Compute过程使用Vector指令队列V意味着CopyIn、CopyOut过程和Compute过程是可以并行的。如图1所示考虑一个完整的数据搬运和计算过程CopyIn过程将数据从Global Memory搬运到Local MemoryVector计算单元完成计算后经过CopyOut过程将计算结果搬回Global Memory。图1数据搬运与Vector计算过程在此过程中数据搬运与Vector计算串行执行Vector计算单元无可避免存在资源闲置问题。举例而言若CopyIn、Compute、CopyOut三阶段分别耗时_t_则Vector的时间利用率仅为1/3等待时间过长Vector利用率严重不足。为减少Vector等待时间DoubleBuffer机制将待处理的数据一分为二比如Tensor1、Tensor2。如图2所示当Vector对Tensor1中数据进行Compute时Tensor2可以执行CopyIn的过程而当Vector切换到计算Tensor2时Tensor1可以执行CopyOut的过程。由此数据的进出搬运和Vector计算实现并行执行Vector闲置问题得以有效缓解。总体来说DoubleBuffer是基于MTE指令队列与Vector指令队列的独立性和可并行性通过将数据搬运与Vector计算并行执行以隐藏数据搬运时间并降低Vector指令的等待时间最终提高Vector单元的利用效率您可以通过为队列申请内存时设置内存块的个数来实现数据并行简单代码示例如下pipe.InitBuffer(inQueueX, 2, 256);图2DoubleBuffer机制需要注意多数情况下采用DoubleBuffer能有效提升Vector的时间利用率缩减算子执行时间。然而DoubleBuffer机制缓解Vector闲置问题并不代表它总能带来整体的性能提升。例如当数据搬运时间较短而Vector计算时间显著较长时由于数据搬运在整个计算过程中的时间占比较低DoubleBuffer机制带来的性能收益会偏小。又如当原始数据较小且Vector可一次性完成所有计算时强行使用DoubleBuffer会降低Vector计算资源的利用率最终效果可能适得其反。因此DoubleBuffer的性能收益需综合考虑Vector算力、数据量大小、搬运与计算时间占比等多种因素。【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
