基础功能【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/geINPUT_FORMAT输入数据格式。此参数实际对应的options参数为input_format。参数取值支持NCHW、NHWC、ND、NCDHW、NDHWC格式。配置示例{ge::ir_option::INPUT_FORMAT, NHWC}如果同时开启AIPP在进行推理业务时输入图片数据要求为NHWC排布。该场景下INPUT_FORMAT参数指定的数据格式不生效。[!NOTE]说明 该参数仅针对动态batch_size、动态分辨率和动态维度场景。 上述场景下INPUT_FORMAT必须设置并且和所有Data算子的format保持一致否则会导致模型编译失败。产品支持情况全量芯片支持。OP_NAME_MAP扩展算子非标准算子映射配置文件路径和文件名不同的网络中某扩展算子的功能不同可以指定该扩展算子到具体网络中实际运行的扩展算子的映射。此参数实际对应的options参数为op_name_map。Caffe网络中具有相同类型名但计算功能不同的层比如DetectionOutput层需要使用算子映射指明为FSRDetectionOutput、SSDDetectionOutput等检测算子类型否则生成离线模型会执行失败。该参数仅适用与Caffe框架。路径和文件名支持大小写字母a-zA-Z、数字0-9、下划线_、中划线-、句点.、中文字符。配置示例{ge::ir_option::OP_NAME_MAP, /home/test/opname_map.cfg}其中扩展算子映射配置文件内容示例如下OpA:Network1OpA产品支持情况Ascend 950PR/Ascend 950DT不支持Atlas A3 训练系列产品/Atlas A3 推理系列产品不支持Atlas A2 训练系列产品/Atlas A2 推理系列产品不支持Atlas 200I/500 A2 推理产品支持Atlas 推理系列产品支持Atlas 训练系列产品支持IPV350不支持INSERT_OP_FILE输入预处理算子的配置文件路径例如Aipp算子。参数详细使用请参见更多特性 AIPP。此参数实际对应的options参数为ge.insertOpFile。若配置了该参数则不能对同一个输入节点同时使用INPUT_FP16_NODES参数。配置文件路径支持大小写字母、数字下划线文件名部分支持大小写字母、数字下划线和点(.)配置示例{ge::ir_option::INSERT_OP_FILE, /home/test/aipp.cfg}配置文件的内容示例如下aipp_op { aipp_mode:static input_format:YUV420SP_U8 csc_switch:true var_reci_chn_0:0.00392157 var_reci_chn_1:0.00392157 var_reci_chn_2:0.00392157 }[!NOTE]说明配置文件详细说明请参考《ATC离线模型编译工具》。产品支持情况Ascend 950PR/Ascend 950DT支持Atlas A3 训练系列产品/Atlas A3 推理系列产品支持Atlas A2 训练系列产品/Atlas A2 推理系列产品支持Atlas 200I/500 A2 推理产品支持Atlas 推理系列产品支持Atlas 训练系列产品支持IPV350不支持OUTPUT_TYPE网络输出数据类型。此参数实际对应的options参数为ge.outputDatatype。参数取值FP32推荐分类网络、检测网络使用。FP16推荐分类网络、检测网络使用。通常用于一个网络输出作为另一个网络输入场景。UINT8图像超分辨率网络推荐使用推理性能更好。INT8UINT16INT16UINT32INT32UINT64INT64DOUBLEHIF8仅Ascend 950PR/Ascend 950DT支持该类型。FP8E5M2仅Ascend 950PR/Ascend 950DT支持该类型。FP8E4M3FN仅Ascend 950PR/Ascend 950DT支持该类型。模型编译后在对应的*.om模型文件中上述数据类型分别呈现方式如下DT_FLOATDT_FLOAT16DT_UINT8DT_INT8DT_UINT16DT_INT16DT_UINT32DT_INT32DT_UINT64DT_INT64DT_DOUBLEDT_HIFLOAT8DT_FLOAT8_E5M2DT_FLOAT8_E4M3FN配置示例{ge::ir_option::OUTPUT_TYPE, FP32}参数值约束若不指定具体数据类型则以原始网络模型最后一层输出的算子数据类型为准。若指定了类型则以该参数指定的类型为准。产品支持情况全量芯片支持。INPUT_FP16_NODES指定输入数据类型为FP16的输入节点名称。此参数实际对应的options参数为ge.INPUT_NODES_SET_FP16。例如node_name1;node_name2指定的节点必须放在双引号中节点中间使用英文分号分隔。若配置了该参数则不能对同一个输入节点同时使用INSERT_OP_FILE参数。配置示例{ge::ir_option::INPUT_FP16_NODES, node_name1;node_name2}产品支持情况全量芯片支持。【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考