废弃接口替换方案【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge本章中的单算子模型执行接口、CBLAS接口后续版本会废弃若继续使用可能导致未定义的行为请使用aclnn算子接口替代。单算子模型执行接口替换方案单算子模型执行接口主要包括编译算子如aclopCompile接口、加载算子模型文件如aclopLoad接口以及执行算子如aclopExecuteV2接口等核心步骤。对于不同的算子均调用该接口集但入参需根据算子的输入、输出和属性等信息进行构造。**因此在替换单算子模型执行接口时直接选用对应的aclnn算子接口即可。**例如原先使用单算子模型执行接口调用Add算子现可使用aclnnAdd算子接口进行替换。CBLAS接口替换方案CBLAS接口主要分为两类功能执行矩阵-向量乘法和执行矩阵-矩阵乘法。其核心步骤包括使用ATC工具编译算子、加载算子模型文件如aclopLoad接口以及执行算子例如aclblasGemvEx。矩阵-向量乘法和矩阵-矩阵乘法对应不同的执行接口且输入输出数据类型也存在差异。因此CBLAS接口与aclnn算子接口之间不存在直接的一一对应关系替换时需要通过Matmul、Muls和Add等aclnn基础算子接口的组合来实现样例代码请参见Link。具体替换方案如下新/老接口CBLAS接口aclnn组合方案接口名称aclblasGemvExaclblasCreateHandleForGemvExaclnnMatmul(n1) aclnnMuls aclnnAdd数据类型FLOAT16/FLOATFLOAT16/FLOAT公式y αAx βy四步Matmul → Muls → Muls → Add新/老接口CBLAS接口aclnn 组合方案接口名称aclblasHgemvaclblasCreateHandleForHgemvaclnnMatmul(n1) aclnnMuls aclnnAdd数据类型FLOAT16固定FLOAT16固定公式y αAx βy四步Matmul → Muls → Muls → Add新/老接口CBLAS接口aclnn 组合方案接口名称aclblasS8gemvaclblasCreateHandleForS8gemvaclnnQuantMatmulV5(n1) aclnnMuls aclnnAdd数据类型INT8 × INT8输入 → INT32输出INT8输入 → INT32输出公式y αAx βy四步QuantMatmulV5 → Muls(INT32) → Muls(INT32) → Add新/老接口CBLAS接口aclnn 组合方案接口名称aclblasGemmExaclblasCreateHandleForGemmExaclnnMatmul aclnnMuls aclnnAdd数据类型FLOAT16/FLOATFLOAT16/FLOAT公式C alpha × op(A) × op(B) beta × C四步Matmul → Muls(alpha) → Muls(beta) → Add新/老接口aclblasaclnn 组合方案接口名称aclblasHgemmaclblasCreateHandleForHgemmaclnnMatmul aclnnMuls aclnnAdd数据类型FLOAT固定FLOAT固定公式C alpha × op(A) × op(B) beta × C四步Matmul → Muls(alpha) → Muls(beta) → Add新/老接口aclblasaclnn 组合方案接口名称aclblasS8gemmaclblasCreateHandleForS8gemmaclnnQuantMatmulV5 aclnnMuls aclnnAdd数据类型INT8 × INT8输入 → INT32输出INT8输入 → INT32输出公式C alpha × A × B beta × C四步QuantMatmulV5 → Muls(INT32) → Muls(INT32) → Add【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考