CANN/asc-devkit：SwiGLU临时空间大小获取接口

GetSwiGLUMaxMinTmpSize【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit功能说明kernel侧SwiGLU接口的计算需要开发者预留/申请临时空间本接口用于在host侧获取预留/申请的最大最小临时空间大小开发者基于此范围选择合适的空间大小作为Tiling参数传递到kernel侧使用。为保证功能正确预留/申请的临时空间大小不能小于最小临时空间大小在最小临时空间-最大临时空间范围内随着临时空间增大kernel侧接口计算性能会有一定程度的优化提升。为了达到更好的性能开发者可以根据实际的内存使用情况进行空间预留/申请。函数原型void GetSwiGLUMaxMinTmpSize(const ge::Shape srcShape, const uint32_t typeSize, uint32_t maxValue, uint32_t minValue, const bool isReuseSource)参数说明表1接口参数说明参数名输入/输出描述srcShape输入输入的shape信息。typeSize输入输入的数据类型大小单位为字节。比如输入的数据类型为half此处应传入2。maxValue输出SwiGLU接口能完成计算所需的最大临时空间大小超出该值的空间不会被该接口使用。在最小临时空间-最大临时空间范围内随着临时空间增大kernel侧接口计算性能会有一定程度的优化提升。为了达到更好的性能开发者可以根据实际的内存使用情况进行空间预留/申请。最大空间大小为0表示计算不需要临时空间。maxValue仅作为参考值有可能大于Unified Buffer剩余空间的大小该场景下开发者需要根据Unified Buffer剩余空间的大小来选取合适的临时空间大小。minValue输出SwiGLU接口能完成计算所需最小临时空间大小。为保证功能正确接口计算时预留/申请的临时空间不能小于该数值。最小空间大小为0表示计算不需要临时空间。isReuseSource输入是否复用源操作数输入的空间与kernel侧接口一致。返回值说明无约束说明无调用示例// 输入shape信息为1024;算子输入的数据类型为half;不允许修改源操作数 std::vectorint64_t shape_vec {1024}; ge::Shape shape(shape_vec); uint32_t max; uint32_t min; AscendC::GetSwiGLUMaxMinTmpSize(shape, 2, max, min, false);【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考