Laya-CoreML 部署与安全纯本地Core ML推理的隐私优势、compute_units配置与版本固定【免费下载链接】laya-coremlLocal Laya typed decisions on Apple Core ML and Neural Engine. Validated ports, ~5 ms short decisions on M3 Max, reproducible speed and energy benchmarks.项目地址: https://gitcode.com/gh_mirrors/la/laya-coremlLaya-CoreML 是一套运行在 Apple Silicon 上的纯本地 Core ML 推理框架用 Core ML 与 Neural EngineANE在设备端完成类型化决策分类、打分、布尔判断全程零生成 token、零联网调用。本文面向新手讲清它的三个安全要点本地推理的隐私优势、compute_units配置方法与模型版本固定。️ 本地推理的隐私优势数据不出设备传统大模型 API 的推理请求必须把完整提示词发送到云端服务器。而 Laya-CoreML 的推理路径完全不同下载一次永久离线模型权重仅在首次通过 Hub 显式下载之后的预测只使用本地数组与文件可强制离线laya.load(..., local_files_onlyTrue)会要求已有缓存缺失时直接报错CLI 端用--offline参数禁止任何 Hub 访问docs/USAGE.md终端游戏更严格贪吃蛇演示只接受本地/缓存权重未缓存时拒绝启动并给出手动下载说明而不是边显示 OFFLINE 边偷偷下载docs/SNAKE_DEMO.md零生成 token输出是结构化概率而非自回归文本没有把内容流式传给服务器这类隐性通道。下图是真实录制回放1× 速度右侧面板可见NETWORK OFFLINE与ENGINE CPUANE标识证明整局推理在 M3 Max 本机完成。发布方还在断网阻止 socket 连接环境下完成了六套模型包的全部加载与推理冒烟测试结果记录在 benchmarks/results/wheel-runtime-smoke.json可离线运行是有实测背书的。⚙️ compute_units 配置指南一键选择计算单元Core ML 允许指定由哪类硬件执行计算。Laya-CoreML 在 laya_coreml/agent.py 中把四个取值映射到 Core ML 原生枚举取值映射适用场景cpuCPU_ONLY纯 CPU 对照实验、最低功耗cpu_gpuCPU_AND_GPU常规 GPU 包的默认值1024 token 通用模型cpu_neCPU_AND_NEANE 短决策包的默认值96 token FP16allALL全设备实验三个新手必须知道的注意事项默认值自动匹配包格式加载器识别laya-coreml-ane格式后自动用cpu_ne普通格式用cpu_gpu不指定通常即可laya_coreml/agent.pycpu_ne不等于全部跑在 ANE它允许 CPU 与 ANE 分担且普通 SDPA 导出即使改成cpu_ne也不会变成专用 ANE 图——两者是不同实现性能不可混比RangeDim GPU 的安全护栏对未通过保真校验的弹性长度包库会直接抛错阻止cpu_gpu加载需显式allow_unvalidated_gpuTrue才能复现失败避免拿到错误结果。CLI 端对应laya-coreml predict ... --compute-units cpu_ne方便做对照实验。 版本固定让部署可复现、可审计本地部署的安全不仅靠离线还靠确定的版本。Laya-CoreML 提供了三层固定1. 固定运行时版本。发布版 0.1.0 于 2026-09-20 上架 PyPI建议安装时钉住版本pip install laya-coreml[demo]0.1.0docs/RELEASE.md。2. 固定模型快照。每个公开模型包都有唯一的 Hub commit SHA官方固定版本清单见 docs/RELEASE.mdagent laya.load(aac6fef/laya-multilingual-coreml-ane, revision39d6a9b3d0f67f06da74fbade6121ea134cbdb21)不传revision会拿到默认快照生产环境建议显式钉住。3. 校验文件完整性。加载前会对包内每个文件做 SHA256 校验与清单不符即拒绝加载Hub 共享缓存的符号链接会被物化为普通文件并复核内容哈希缓存根目录可用LAYA_COREML_CACHE调整laya_coreml/artifacts.py、laya_coreml/hub.py。每套包的字节大小与校验和记录在 benchmarks/results/hub-release.json。 小结部署 安全一步到位安全目标做法数据不出设备下载一次后本地推理local_files_onlyTrue/--offline强制离线正确的计算单元ANE 包用cpu_neGPU 包用cpu_gpu默认已自动匹配可复现部署pip 钉版本 Hubrevision固定 SHA SHA256 清单校验Laya-CoreML 的短决策包96 token在 M3 Max 上实测 P50 约 4.98 ms、每决策能耗仅为编译版 MLX 的约 1/2.8benchmarks/results/ane-energy-summary.json长文本场景请选 1024 token 的通用模型。完整 API、模型选型与离线用法见 docs/USAGE.md速度/能耗原始证据见 docs/ANE_BENCHMARKS.md。【免费下载链接】laya-coremlLocal Laya typed decisions on Apple Core ML and Neural Engine. Validated ports, ~5 ms short decisions on M3 Max, reproducible speed and energy benchmarks.项目地址: https://gitcode.com/gh_mirrors/la/laya-coreml创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考