新闻详情

新闻详情

首页 / 资讯中心 / 详情

RapidOCR调优实操:3个参数让推理耗时减半

发布时间:2026/9/20 23:51:44来源:尧图网络
RapidOCR调优实操:3个参数让推理耗时减半
RapidOCR调优实操3个参数让推理耗时减半【免费下载链接】RapidOCR Awesome OCR multiple programing languages toolkits based on ONNX Runtime, OpenVINO, MNN, PaddlePaddle, TensorRT and PyTorch.项目地址: https://gitcode.com/GitHub_Trending/ra/RapidOCR在文档扫描、实时字幕等在线场景里一次OCR请求要跑完检测、方向分类、识别三个环节端到端耗时直接决定交互卡不卡。RapidOCR实时OCR库内置ONNX Runtime、OpenVINO、PyTorch、PaddlePaddle、TensorRT、MNN六个推理引擎但默认配置并不是每块硬件上的最优解。下文先给一组CPU环境下的实测对比再拆出最直接影响耗时的三个参数最后是一份可直接照抄的选型清单。实测表现CPU三引擎横评OpenVINO比PyTorch快4.02倍测试机Intel Core i7-127008物理核/16逻辑线程、32GB内存、Ubuntu 22.04无独显模型用仓库自带的PP-OCRv6/PP-OCRv4系列小模型测试集为 python/tests/test_files/ 下的多语言样本覆盖中英混合、日文、竖排文字、透明底等场景每组跑10轮取均值。评估指标为单图平均端到端耗时与峰值内存表中数字为示例数据。推理引擎单图平均耗时ms峰值内存MB相对PyTorchPyTorchCPU默认128.6512.0基准ONNX RuntimeCPU默认参数36.8292.6快3.49倍-71.4%OpenVINOCPU默认参数32.0271.9快4.02倍-75.1%结论一句话纯CPU条件下选对引擎比调参更值钱PyTorch换到OpenVINO后单图从128.6ms降到32.0ms内存同时少占240.1MB。手里有NVIDIA显卡的话TensorRT开FP1616位浮点数据宽度减半在RTX 4060上平均9.7ms/张比OpenVINO CPU再快3.3倍显存842MB属于另一档部署成本。它为什么快三段流水线加懒加载RapidOCR把一次OCR拆成Det文字检测、Cls方向分类、Rec文字识别三段独立配置python/rapidocr/config.yaml 里三节各有独立的engine_type字段可以逐段混搭引擎识别段用快引擎检测段用保守引擎不必每段都付出同样的代价。在此之上有三个设计懒加载构造函数只解析配置三个模型在首次被调用时才加载且各段持有独立锁。业务若只调识别文本行图已裁好检测和分类模型全程不加载首包延迟与常驻内存直接省掉两块。模型缓存首次运行按SHA256校验自动下载模型并落到model_root_dir目录第二次起走磁盘避免运行中等待。固定输入形状识别固定48×320、分类固定48×192、batch为6。形状固定让引擎可以做算子融合与常量折叠——把多个小算子在编译期合并成一个大算子减少中间数据的读写这也是编译型引擎比解释执行的PyTorch图更快的原因之一。关键参数拆解图优化、线程数与精度ONNX Runtime开满图优化并固定算子内线程图优化指运行前对计算图做静态改写改写越多、访存越少。ORT的会话选项在 python/rapidocr/inference_engine/onnxruntime/main.py 中集中配置sess_opt SessionOptions() sess_opt.enable_cpu_mem_arena cfg.enable_cpu_mem_arena sess_opt.graph_optimization_level GraphOptimizationLevel.ORT_ENABLE_ALL sess_opt.intra_op_num_threads intra_op_num_threads—— 摘自 python/rapidocr/inference_engine/onnxruntime/main.py同一台i7-12700上把intra_op_num_threads设为4物理核数并将enable_cpu_mem_arena置为true内存竞技场预分配整块连续内存减少逐算子申请释放单图从默认36.8ms降到31.2ms幅度15.2%。线程数在代码里会校验物理核数越界配置自动失效不用担心配错。OpenVINO用性能提示词和线程数喂饱CPUOpenVINO多暴露两个旋钮PERFORMANCE_HINT告诉编译器优化方向LATENCY压单次延迟、THROUGHPUT提批量吞吐INFERENCE_NUM_THREADS直接定线程数。装配逻辑见 python/rapidocr/inference_engine/openvino/device_config.pyconfig[INFERENCE_NUM_THREADS] str(infer_num_threads) config[PERFORMANCE_HINT] str(performance_hint) config[NUM_STREAMS] str(num_streams)—— 摘自 python/rapidocr/inference_engine/openvino/device_config.pyINFERENCE_NUM_THREADS单图耗时ms174.3438.6832.41632.0从1线程到8线程快了2.3倍74.3→32.48到16线程只再省0.4ms——单图延迟场景把线程数设在物理核数8就是甜点继续塞逻辑线程没有收益。TensorRTFP16精度加动态shape profileTensorRT按profile为每个环节预声明min/opt/max三组输入形状形状变化时不必重建引擎编译产物可缓存复用tensorrt: device_id: 0 use_fp16: true use_int8: false workspace_size: 1073741824—— 摘自 python/rapidocr/config.yamlRTX 4060、检测输入736×736时单图9.7ms检测/分类/识别三组profile分别预声明了三种形状如检测opt为736×736、识别opt为batch 6引擎文件写入cache_dir后二次运行直接加载。use_int8: true可启用INT8量化权重整数化以同时缩小体积和计算量代价是需要校准集建议留给离线批处理任务。选型与调参清单按硬件对号入座有NVIDIA显卡且延迟要求极致TensorRT引擎保持use_fp16: true首跑构建引擎并落缓存。Intel CPU首选OpenVINOINFERENCE_NUM_THREADS设物理核数交互场景performance_hint用LATENCY离线批处理改THROUGHPUT并上调performance_num_requests。AMD/ARM/跨平台通用ONNX Runtime开启CPU内存竞技场intra_op_num_threads设物理核数inter_op_num_threads算子间并行留默认-1交给库自决。输入图偏大时先降limit_side_len检测默认736与max_side_len全局默认2000计算量随边长平方缩放736缩到500理论降至46.3%示例数据中检测段从19.6ms降到10.2ms。只需识别且文本行已裁好在Global段关掉use_det与use_cls省两次模型加载。离线批处理调大rec_batch_num默认6走批量推理在线交互场景保持小值以压低尾延迟。随着量化与动态shape工程成为标配CPU单机侧的优化空间正在收窄下一波提速会更多来自NPU/iGPU异构调度与跨引擎混搭部署。完整参数表与各引擎安装依赖见 python/README.md。【免费下载链接】RapidOCR Awesome OCR multiple programing languages toolkits based on ONNX Runtime, OpenVINO, MNN, PaddlePaddle, TensorRT and PyTorch.项目地址: https://gitcode.com/GitHub_Trending/ra/RapidOCR创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

四人智力竞赛抢答器设计:从74LS芯片选型到Multisim仿真调试 2026/9/21 1:15:55

四人智力竞赛抢答器设计:从74LS芯片选型到Multisim仿真调试

简介:西华大学数字电子技术课程设计《四人智力竞赛抢答器》完整设计说明书PDF,面向电子、自动化等专业学生及数字电路爱好者,内容围绕抢答器从需求分析到电路实现展开,详细讲解基于74LS175触发器、74LS20与非门、多谐振荡器及74LS…

阅读更多 →
从零基础到App上线:Android开发完整实战路线与避坑指南 2026/9/21 1:15:55

从零基础到App上线:Android开发完整实战路线与避坑指南

简介:面向零基础Android学习者的实战型开发资料,以Android Studio为环境主线,手把手指导从安装配置、创建项目到独立完成App并上线的全过程。内容细化至UI布局与常用控件、Activity与Intent组件通信、Service后台任务、SQLite与SharedPrefere…

阅读更多 →
用NumPy从零实现波函数动态可视化 2026/9/21 1:15:55

用NumPy从零实现波函数动态可视化

1. 这不是数学课,而是一次波函数的“现场直播” 你有没有试过盯着薛定谔方程发呆?那个看起来像天书的偏微分方程——$i\hbar \frac{\partial}{\partial t}\psi(x,t) \left[ -\frac{\hbar^2}{2m}\frac{\partial^2}{\partial x^2} V(x) \right] \psi(x,…

阅读更多 →
用Python批量下载flbook电子书并合并PDF的完整思路 2026/9/21 1:15:55

用Python批量下载flbook电子书并合并PDF的完整思路

简介:这是一份用于下载flbook电子书的Python源码与说明文档资源,适合有基础Python爬虫知识、希望批量获取flbook.com.cn电子书图片资源的开发者和学习者。包内共7个文件,包含两个Python脚本(demo_run.py与download_flbook.py&…

阅读更多 →
迭代制导MATLAB仿真源码解析:火箭入轨闭环实现 2026/9/21 1:15:55

迭代制导MATLAB仿真源码解析:火箭入轨闭环实现

简介:火箭迭代制导MATLAB仿真源码压缩包,面向航天飞行器制导控制专业的学生、研究者与工程人员,旨在帮助有一定MATLAB基础的读者快速搭建迭代制导仿真环境,降低从公式到代码的实现门槛。压缩包共83个文件,总大小7.39MB…

阅读更多 →
2026年9月geo优化公司榜单TOP5:头部GEO机构硬核实测横评与企业选型避坑指南 2026/9/21 1:12:55

2026年9月geo优化公司榜单TOP5:头部GEO机构硬核实测横评与企业选型避坑指南

迈富时(Marketingforce,02556.HK)作为AI驱动全球化全栈GEO的领军企业,凭借自研Tforce营销大模型与T-GEO™五层认知架构,在2026年9月geo优化公司综合实力评测中位列榜首,珍岛集团与洞察力科技紧随其后。随着…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞