CANN/GE LLM-DataDist PullKvCache接口

PullKvCache【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge产品支持情况产品是否支持Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 推理系列产品√Atlas A2 训练系列产品x函数功能从远端节点拉取Cache到本地Cache仅当角色为Decoder时可调用。函数原型Status PullKvCache(const CacheIndex src_cache_index, const Cache dst_cache, uint32_t batch_index 0U, int64_t size -1, const KvCacheExtParam ext_param {})参数说明参数名称输入/输出取值说明src_cache_index输入远端源Cache的索引。dst_cache输入本地目的Cache。batch_index输入本地目的batch的下标。size输入设置为0的整数表示要拉取的大小。或设置为-1表示完整拉取。默认为-1。ext_param输入当前支持ext_param中src_layer_range的sencond与first的差值和dst_layer_range的sencond与first的差值一致。src_layer_range和dst_layer_range的first和second默认值都是-1表示全部的层。取值范围都是[0, 最大可用层索引]且first小于等于second。 最大可用层索引值的计算公式如下。(CacheDesc::num_tensors / KvCacheExtParam::tensor_num_per_layer) - 1当前支持tensor_num_per_layer取值范围是[1, 当前cache的tensor总数]默认值为2。当src_layer_range或dst_layer_range取值为非默认值时 tensor_num_per_layer可以保持默认值也可以输入其他值输入其他值的时tensor_num_per_layer的取值还需要被当前cache的tensor总数整除。调用示例CacheIndex cache_index; cache_index.cluster_id 0; cache_index.cache_id cached_tensors.cache_id; cache_index.batch_index 0; Status ret llm_datadist.PullKvCache(cache_index, cache)返回值LLM_SUCCESS成功LLM_PARAM_INVALID参数错误LLM_NOT_YET_LINK与远端cluster没有建链LLM_TIMEOUT拉取超时LLM_KV_CACHE_NOT_EXIST本地或远端KV Cache不存在其他失败约束说明该接口调用之前需要先调用Initialize接口完成初始化。dst_cache必须为AllocateCache接口申请出的Cache。【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考