模型推理服务人工智能后端大模型MLOpsLLMOps【免费下载链接】BentoMLThe easiest way to serve AI apps and models - Build Model Inference APIs, Job queues, LLM apps, Multi-model pipelines, and more!项目地址https://gitcode.com/gh_mirrors/be/BentoML点击查看免费下载BentoML 为 Keras 提供了开箱即用的模型管理 API用于将 Keras 模型保存到本地模型库model store、按 Tag 重新加载以及接入 Runner 与 Service 实现生产级推理服务。本文以 Keras 框架 API 参考keras.rst为骨架结合仓库中的框架实现源码src/bentoml/_internal/frameworks/keras.py完整讲解bentoml.keras.save_model、bentoml.keras.load_model、bentoml.keras.get三个核心接口的签名、参数、默认行为与底层实现并给出可直接运行的实战代码。读完本文你将掌握在 BentoML 中管理、恢复和部署 Keras 模型的完整工作流。一、Keras 在 BentoML 中的定位与前置依赖BentoML 的 Keras 支持位于框架集成层对应的模块名为bentoml.keras其实现位于 src/bentoml/_internal/frameworks/keras.py模块常量MODULE_NAME bentoml.keras、API_VERSION v1。从源码keras.py可以看到该模块在导入时强制要求同时存在keras与tensorflow两个依赖try: import keras import tensorflow as tf except ImportError: raise MissingDependencyException( Tensorflow is required in order to use module bentoml.keras, since BentoML uses Tensorflow as Keras backend. Install Tensorflow with pip install tensorflow. )也就是说BentoML 以 TensorFlow 作为 Keras 的后端。因此使用bentoml.keras之前需要先安装 TensorFlowpip install tensorflow并保证环境中同时存在可用的keras包。需要说明的是从当前仓库的导出定义src/bentoml/init.py可以看到bentoml.keras通过_LazyLoader延迟加载并带有 deprecated since v1.4 and will be removed in a future version 的弃用提示同一入口文件中也导出了bentoml.tensorflow集成src/bentoml/init.py。如果你的项目运行在较新版本上可以留意这一迁移信号但在本文所述 API 仍然可用的前提下其参数模型与运行机制同样适用于理解 BentoML 的框架集成设计。二、保存模型bentoml.keras.save_modelsave_model用于把训练好的 Keras 模型实例保存到 BentoML 模型库中是整个工作流的起点。2.1 完整函数签名bentoml.keras.save_model( name: Tag | str, model: keras.Model | keras.Sequential, *, tf_signatures: tf.ConcreteFunction | None None, tf_save_options: tf.saved_model.SaveOptions | None None, include_optimizer: bool False, signatures: dict[str, ModelSignature] | None None, labels: dict[str, str] | None None, custom_objects: dict[str, Any] | None None, external_modules: list[ModuleType] | None None, metadata: dict[str, Any] | None None, ) - bentoml.Model2.2 参数说明参数类型默认值说明nameTag/str必填模型的唯一名称需通过 Python 标识符检查作为模型在 store 中的 Tag 前缀modelkeras.Model/keras.Sequential必填要保存的 Keras 模型实例tf_signaturestf.ConcreteFunctionNone保存时暴露的 serving 签名对应 TensorFlow 官方tf.saved_model.save的signatures参数tf_save_optionstf.saved_model.SaveOptionsNone保存选项对象透传给 TensorFlow 的options参数include_optimizerboolFalse是否把优化器状态一并写入保存文件保存后如需继续训练应设为Truesignaturesdict[str, ModelSignature]None声明可供 Runner 调用的推理方法如predict及其批处理能力labelsdict[str, str]None用户自定义标签用于模型管理如teamnlp、stagedevcustom_objectsdict[str, Any]None自定义 Keras 对象自定义 Layer、自定义激活函数等的字典external_moduleslist[ModuleType]None需随模型一同保存的附加 Python 模块如 tokenizer、预处理器、模型配置模块用于在加载时解析自定义对象metadatadict[str, Any]None任意自定义元数据2.3 类型检查与默认签名源码在保存前先做严格的类型校验keras.py只接受keras.Model或keras.Sequential实例否则抛出TypeError。当未显式传入signatures时框架会写入默认签名keras.pysignatures { predict: { batchable: False, } }即默认暴露模型上的predict方法作为推理入口且默认不启用批处理batchableFalse。日志中会打印一条信息提示正在使用默认签名Using the default model signature for Keras ({predict: {batchable: False}}) for model name.如果你希望 Runner 在并发请求下自动合批可以在保存时覆盖该签名例如bentoml.keras.save_model( my_keras_model, model, signatures{predict: {batchable: True, batch_dim: 0}}, )batch_dim表示批处理维度输入沿第 0 维堆叠时填0。签名结构ModelSignature定义在 src/bentoml/_internal/models/model.py其中batchable控制 Runner 是否对多次调用合批batch_dim支持(输入批维度, 输出批维度)的元组形式高级用法。2.4 底层保存流程保存过程分三步keras.py构造ModelContext记录框架名keras与 TensorFlow 版本版本号通过 utils/tensorflow.py 中的get_tf_version()从tensorflow、tensorflow-cpu、tensorflow-gpu、tf-nightly等候选发行名中探测。生成ModelOptions(include_optimizerinclude_optimizer)选项对象若传入tf_signatures/tf_save_options会分别映射到 Kerasmodel.save的signatures/options关键字参数。在bentoml.models._create(...)上下文中调用model.save写入模型文件并根据 Keras 版本分支处理if version.parse(keras.__version__) version.parse(3.4.0): model.save(bento_model.path, zippedFalse, include_optimizerinclude_optimizer, **kwargs) else: model.save(bento_model.path, include_optimizerinclude_optimizer, **kwargs)从源码可以看到当 Keras ≥ 3.4.0 时保存使用zippedFalse即以未压缩目录形式写出便于 BentoML 直接管理目录结构较老版本则走默认保存路径。include_optimizer会在保存时透传给 Keras。2.5 完整示例保存普通模型与自定义对象模型官方文档字符串中给出了完整可运行的示例keras.pyimport bentoml import tensorflow as tf import tensorflow.keras as keras def custom_activation(x): return tf.nn.tanh(x) ** 2 class CustomLayer(keras.layers.Layer): def __init__(self, units32, **kwargs): super(CustomLayer, self).__init__(**kwargs) self.units tf.Variable(units, nameunits) def call(self, inputs, trainingFalse): if training: return inputs * self.units else: return inputs def get_config(self): config super(CustomLayer, self).get_config() config.update({units: self.units.numpy()}) return config def KerasSequentialModel() - keras.models.Model: net keras.models.Sequential( ( keras.layers.Dense( units1, input_shape(5,), use_biasFalse, kernel_initializerkeras.initializers.Ones(), ), ) ) opt keras.optimizers.Adam(0.002, 0.5) net.compile(optimizeropt, lossbinary_crossentropy, metrics[accuracy]) return net model KerasSequentialModel() # 保存模型并取回对应的 Tag bento_model bentoml.keras.save_model(keras_model, model) # 带自定义对象保存模型 custom_objects { CustomLayer: CustomLayer, custom_activation: custom_activation, } custom_bento_model bentoml.keras.save_model( custom_obj_keras, custom_objectscustom_objects )其中custom_objects会在保存时通过_create(...)传给模型记录并在load_model时作为keras.models.load_model的custom_objects参数原样传回见下文 3.2 节从而保证包含自定义 Layer / 激活函数的模型可以无损恢复。这些自定义对象实际以custom_objects.pkl形式存放在模型目录中见 src/bentoml/_internal/models/model.py加载时通过cloudpickle.load反序列化。三、加载模型bentoml.keras.load_model3.1 函数签名与参数bentoml.keras.load_model( bento_model: str | Tag | bentoml.Model, device_name: str /device:CPU:0, ) - keras.Model参数类型默认值说明bento_modelstr/Tag/bentoml.Model必填模型 Tag、Tag 字符串或已从 store 取出的bentoml.Model实例device_namestr/device:CPU:0加载模型的目标设备格式需与tf.device兼容例如/device:GPU:03.2 加载流程与自定义对象恢复源码实现keras.py的核心逻辑若传入的是str/Tag先调用get(bento_model)解析为bentoml.Model校验模型记录的module是否为bentoml.keras不一致时抛出NotFound防止用错误框架的加载器加载模型当device_name包含GPU时尝试对第一个物理 GPU 启用显存动态增长if GPU in device_name: physical_devices tf.config.list_physical_devices(GPU) try: tf.config.experimental.set_memory_growth(physical_devices[0], True) except RuntimeError: pass该优化用于避免 TensorFlow 一次性占满 GPU 显存。源码注释特别说明如果 TensorFlow 会话已经创建例如在 Notebook 或交互式 Shell 中先跑过 Runnerset_memory_growth会抛RuntimeError这里直接忽略该异常即可。最终在tf.device(device_name)上下文中调用 Keras 原生加载接口并把保存时记录的custom_objects一并传入with tf.device(device_name): return keras.models.load_model( bento_model.path, custom_objectsbento_model.custom_objects, )bento_model.path指向模型在本地 store 中的目录bento_model.custom_objects则来自模型目录下的custom_objects.pkl反序列化逻辑见 src/bentoml/_internal/models/model.py。这意味着只要保存时正确传入custom_objects加载时无需再次手动提供。3.3 示例import bentoml # 从模型库按名称加载模型回内存 loaded bentoml.keras.load_model(keras_model) # 显式指定加载到 GPU 设备 loaded_gpu bentoml.keras.load_model( keras_model, device_name/device:GPU:0 )四、按 Tag 获取模型记录bentoml.keras.getget用于从 BentoML 模型库中按 Tag 取回bentoml.Model记录对象keras.pydef get(tag_like: str | Tag) - bentoml.Model: model bentoml.models.get(tag_like) if model.info.module not in (MODULE_NAME, __name__): raise NotFound( fModel {model.tag} was saved with module {model.info.module}, not loading with {MODULE_NAME}. ) return model它是对通用bentoml.models.get的框架化封装额外增加了一层模块归属校验只有当初用bentoml.keras.save_model保存即info.module为bentoml.keras的模型才允许通过该接口取出否则抛出NotFound。这样避免了跨框架误用。import bentoml # 目标模型必须存在于 BentoML 模型库中 model bentoml.keras.get(keras_resnet50)取回的bentoml.Model可以继续用于load_model、to_runner()构建推理 Runner或在 Bento 打包时引用。五、从模型到推理服务签名与 Runner 的联动保存时声明的signatures会记录在模型信息中并在构造 Runner 时被读取keras.pyfor method_name, options in bento_model.info.signatures.items(): add_run_method(method_name, options)框架内部为每个签名方法注册一个 Runner 方法batchable/batch_dim/input_spec/output_spec被透传给KerasRunnable.add_method。运行时的KerasRunnable有以下几个值得注意的实现细节设备选择KerasRunnable.__init__中若当前进程可见 GPU则使用/device:GPU:0否则回退/device:CPU:0。多 GPU 场景下每个 Runner worker 的可见 CUDA 设备由 Runner 的调度策略Scheduling Strategy设置因此 Runnable 只需取第一个可见 GPU。输入转换每次调用前非 Tensor 输入如 numpy 数组、list会通过tf.convert_to_tensor统一转为 Tensor。结果归一化EagerTensor 结果自动转成 numpy 数组返回list 结果转为 tuple。partial kwargs 支持ModelOptions继承自PartialKwargsModelOptionskeras.py可以为每个方法预绑定部分关键字参数。这些机制与 ModelSignature 的定义相互印证batchableTrue时BentoML Runner 会把多次并发请求按batch_dim指定的维度合批后再调用模型方法从而显著提升吞吐。典型的 Service 接入方式如下示意import bentoml import numpy as np runner bentoml.keras.get(keras_model).to_runner() svc bentoml.Service(keras_iris, runners[runner]) svc.api(inputbentoml.io.NumpyNdarray(), outputbentoml.io.NumpyNdarray()) def predict(arr: np.ndarray) - np.ndarray: return runner.predict.run(arr)之后即可通过bentoml serve启动本地推理服务或通过 bentofile.yaml 将模型与 Service 一起打包成 Bento 部署。六、测试验证仓库中的 Keras 集成用例仓库的集成测试tests/integration/frameworks/models/keras.py对本文介绍的功能做了端到端验证可以作为实践参考Sequential 模型KerasSequentialModel构建了一个单 Dense 层模型Adam(0.002, 0.5)binary_crossentropy对应测试用 5 种不同类型的输入调用predicttf.float64张量、tf.float32张量、float64numpy 数组、int64numpy 数组以及普通 Python list并逐一用np.isclose校验输出与基准结果一致。这印证了 Runner 输入转换tf.convert_to_tensor对多种输入形态的兼容。Functional 模型KerasFunctionalModel在call上使用tf.function(input_signature[tf.TensorSpec(shape(None, 32), dtypetf.float32)])验证带tf.function签名注解的模型也能正常保存、加载与推理。自定义对象测试文件中同样定义了custom_activation与CustomLayer与文档示例一致验证custom_objects的保存/恢复链路。测试将framework bentoml.keras、backward_compatible True并注册了keras_tf2模型供框架级测试驱动tests/integration/frameworks/test_frameworks.py统一执行。七、实践要点与注意事项依赖要求bentoml.keras要求环境中同时安装keras与tensorflowBentoML 以 TensorFlow 作为 Keras 后端。缺少依赖时模块导入即抛出MissingDependencyException。类型约束save_model只接受keras.Model或keras.Sequential实例传入其他对象会抛TypeError。默认签名不传signatures时默认暴露predict且batchableFalse需要合批吞吐时显式声明{predict: {batchable: True, batch_dim: 0}}。自定义对象含自定义 Layer / 激活函数的模型保存时务必通过custom_objects登记加载时框架会自动从模型目录的custom_objects.pkl恢复无需重复传入。继续训练如需在加载后继续训练保存时应设置include_optimizerTrue否则优化器状态不会写入保存文件。设备控制load_model默认加载到 CPU/device:CPU:0指定 GPU 时框架会自动开启显存动态增长若会话已存在导致的RuntimeError会被安全忽略。模块归属校验get/load_model都会校验模型由bentoml.keras保存防止跨框架误加载。版本分支Keras ≥ 3.4.0 时保存采用zippedFalse的目录形式更早版本走默认行为。以当前仓库实现为准。迁移提示从仓库入口文件src/bentoml/init.py可以看到bentoml.keras标记为 deprecated since v1.4并计划在未来版本移除新项目可评估使用bentoml.tensorflow集成或跟随官方迁移指引。通过save_model入库、get取记录、load_model恢复、to_runner接入推理这一完整链路Keras 模型可以快速变成可并发调用、可打包部署的 BentoML 推理服务与仓库提供的其他框架集成Framework APIs 索引保持一致的工程范式。赞分享模型推理服务人工智能后端大模型MLOpsLLMOps【免费下载链接】BentoMLThe easiest way to serve AI apps and models - Build Model Inference APIs, Job queues, LLM apps, Multi-model pipelines, and more!项目地址https://gitcode.com/gh_mirrors/be/BentoML点击查看免费下载相关推荐BentoML Transformers 框架 API 详解save_model、load_model 与 get 实战指南BentoML Transformers 框架 API 详解save_model、load_model 与 get 实战指南 本篇是 BentoML 官方 A模型推理服务人工智能后端大模型MLOpsLLMOps视频修复神器untrunc5分钟拯救损坏的MP4文件终极指南视频修复神器untrunc5分钟拯救损坏的MP4文件终极指南 你是否曾因视频文件突然损坏而痛心疾首当珍贵的家庭录像、重要的工作记录或专业的拍摄素材因传输中断模型推理服务人工智能后端大模型MLOpsLLMOpsBentoML PyTorch 框架 API 参考bentoml.pytorch 的 save_model、load_model 与 get 源码级详解BentoML PyTorch 框架 API 参考bentoml.pytorch 的 save_model、load_model 与 get 源码级详解 本文模型推理服务人工智能后端大模型MLOpsLLMOps上一篇LeaderLine 项目常见问题解决方案下一篇【亲测免费】 Vue Pivot Table 项目常见问题解决方案创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考