简介这是一份面向数据工程师、BI开发者和ETL初学者的Pentaho Kettle 9.5发行包对应pdi-ce-9.5.0.1-261版本可在macOS M1、Windows与Linux下解压即用运行需JDK17。Kettle从9.4起大幅精简了程序包体积因此包内内容并非编译缺失而是新版本特性使用前无需额外补全。资源共1078个文件压缩包约387.49MB其中626个jar提供运行依赖196个ktr为转换流程示例19个kjb为作业调度示例另有xml配置、properties参数、sh/bat启动脚本及csv、xls、ods等样例数据文件便于对照了解ETL各环节的组织方式。目前已有2867人学习下载除了开箱即用的发行包还可结合作者给出的自编译思路从源码构建匹配自身环境的版本尤其适合需要迁移到ARM Mac或自定义组件的用户。1. pdi-ce-9.5.0.1-261 是什么先说清楚它解决什么问题很多数据团队都会走到这一步每天从业务系统导几张 CSV手工清理后塞进数据库口径一改脚本跟着改半天人还被绑死在跑数上。pentaho-kettle9.5 版本 pdi-ce-9.5.0.1-261 就是来解这个问题的——它是 Pentaho Data IntegrationPDI社区版在 9.5 这条线上的一个可直接安装的发布包里面带着 Spoon图形设计器、Kitchen作业调度命令行、Pan转换执行命令行。把它部署好之后读文件、清洗、入库、定时重跑这一整套动作可以变成可视化任务新人也能接手维护。适合不想为 ETL 单独养一套开发平台、希望数据流程可交接的团队。下面按我从下载到上线的顺序展开。2. 下载安装 kettle9.5JDK 8 准备、目录结构与 10 分钟启动 Spoon2.1 下载之前先确认 JDK版本错了解压完也启动不了Kettle 9.5 本质上是一个 Java 程序启动脚本做的事就是“找到一个可用的 Java再把 PDI 主程序跑起来”。pdi-ce-9.5.0.1-261 这个版本我在不同机器上装过最省事的组合是 JDK 1.8也就是 Java 8。只装 JRE 不装 JDK 不行启动脚本要找 tools.jar装太新的 JDK 17 或 21 也不行Spoon 用的 SWT 界面组件在部分系统上会黑屏或直接闪退。所以下载安装包之前先把 Java 环境定住。java -version echo $JAVA_HOMEjava -version 显示的是当前命令行实际用的版本echo $JAVA_HOME 显示的是启动脚本要读的路径这两个经常不一致。常见问题是命令行里 java 是 8但 JAVA_HOME 指向 11而 Kettle 恰恰更信任 JAVA_HOME。我一般会在 .bashrc 里写死export JAVA_HOME/usr/local/jdk1.8.0_202 export PATH$JAVA_HOME/bin:$PATH改完记得 source ~/.bashrc 再确认一次。Windows 上就是在系统环境变量里改 JAVA_HOME改完必须新开一个 cmd 窗口才生效——这是新手经常觉得“改了没用”的真正原因。2.2 解压 pdi-ce-9.5.0.1-261 后先改这两个文件安装包下载下来一般是 zip 或 tar.gz解压后得到一个主目录常见名字是># 把这一行改成本机 JDK8 的绝对路径 export PENTAHO_JAVA_HOME/usr/local/jdk1.8.0_202第二个是 spoon.shWindows 下是 Spoon.bat里的内存参数。默认值对今天的数据量来说偏小我建议至少给到 4GBPENTAHO_DI_JAVA_OPTIONS-Xmx4096m -Xms512m -XX:MaxMetaspaceSize512m逻辑说明-Xmx 是 Java 堆最大值-Xms 是启动时初始堆-XX:MaxMetaspaceSize 限制元空间。Kettle 加载插件、解析复杂 SQL 时对元空间也有压力只调 -Xmx 不够。数值要根据本机物理内存来机器只有 4GB 就别硬上 4GB否则系统开始换页反而更慢。2.3 启动 Spoon 的两种方式和日志怎么看Linux/macOS 上从终端进入主目录执行 ./spoon.shWindows 上在 cmd 里执行 Spoon.bat。直接双击脚本文件当然也能启动但最直接的好处是启动失败时能看到堆栈第一行而不是窗口一闪而过。cd>step nameCSV 文件输入/name typeCsvInput/type file filename${CSV_FILE}/filename encodingUTF-8/encoding separator,/separator enclosure/enclosure headerY/header rowLimit0/rowLimit /file /step逻辑说明filename 用变量占位header 为 Y 表示第一行当作字段名rowLimit 为 0 表示不限制读取行数。建议先把“预览”按钮点开看前 100 行是否切分正确、日期和数字类型是否被正确识别。预览阶段发现乱码先改编码别急着往后做映射——这是 Kettle 菜鸟教程里最高频的起点。3.3 表输出步骤驱动、连接与字段映射表输出属性里第一步是新建数据库连接。以 MySQL 8 为例驱动类名要选 com.mysql.cj.jdbc.DriverJDBC URL 用下面这种典型写法jdbc:mysql://127.0.0.1:3306/dw?useSSLfalseserverTimezoneAsia/ShanghaiallowPublicKeyRetrievaltrue参数说明useSSLfalse 避免 SSL 握手警告serverTimezone 必须设否则 MySQL 8 会直接报时区错误allowPublicKeyRetrievaltrue 是为了兼容 MySQL 8 的 caching_sha2_password 认证方式。进入表输出属性后勾选“指定数据库字段”把 CSV 的字段名映射到目标表列。注意 Kettle 不会自动帮你建表需要先在数据库里建好目标表再回来做映射。我第一次用的时候就默认它会自动建表结果跑了几分钟只看到一行 table doesnt exist 的报错属于典型的翻车现场。建议先拿 SQL 客户端建表字段类型和长度一次定好比在 Kettle 里反复改省事得多。3.4 Kettle 9.5 能解析 JSON 吗JSON Input 与 Rest Client 的常见搭法能而且从 8.x 开始就是原生能力。很多接口返回的是 JSONKettle 9.5 的常见做法是先用 Rest Client 步骤请求接口拿到响应再用 JSON Input 步骤按 JSONPath 提取字段最后继续接表输出或字段选择。一个典型链路是Rest Client - JSON Input - 字段选择 - 表输出。JSON Input 里填 JSONPath 表达式比如接口返回下面这种结构{ code: 0, data: { items: [ {id: 1, name: 订单A}, {id: 2, name: 订单B} ] } }要展开数组逐条入库JSONPath 写 $.data.items[*]然后在下方的字段表格里定义 id 和 name 的路径分别为 $.id 和 $.name。这里最容易踩的坑是 JSONPath 写错不会报错结果只是字段全部为空必须点“预览”确认数据真的取到了。另外排查接口问题时我会先把 Rest Client 的响应体同时输出到“写日志”步骤确认拿到的是 JSON 而不是登录页或错误提示再去调 JSONPath能省大量时间。4. 用作业把跑批自动化Start 定时、Kitchen 外部调度与参数传递4.1 转换和作业的分工什么时候需要外面包一层转换处理的是“一行行数据怎么流”作业Job.kjb处理的是“任务怎么编排”。实际业务里很少只跑一次转换更多是每天定点跑先清空昨天的临时表、拉接口、做清洗、写汇总表、发失败通知。这一串动作需要按顺序执行还要支持成功失败分支就要用作业把转换包起来。作业里的每个节点叫作业项可以是转换、SQL 脚本、检查文件是否存在、发送邮件、甚至执行一条 shell 命令。作业项之间同样用连线表示顺序连线上可以设置条件比如“前一个作业项成功才继续”。我一般会把数据库写入这类高风险的步骤单独放一个作业项失败时走另一个分支去写异常日志这样跑批出错时第一时间能看到是哪个环节断了。4.2 让作业自动跑批Start 组件的时间设置和它的局限作业画布上第一个组件通常是“开始”Start双击它可以配置定时执行比如每天凌晨 1 点触发下游。这个功能看起来是自动跑批但它有一个关键前提Spoon 必须保持打开状态。定时器跑在 Spoon 这个进程里你关掉设计器作业不会自己爬起来。很多人配置完就以为万事大吉第二天发现没跑原因就在这里。所以我对 Start 定时组件的定位是适合个人电脑上做演示、临时验证不适合生产环境。生产上更可靠的做法是把执行权交给操作系统级调度Kettle 本身只需提供命令行入口。4.3 把执行权交给外部调度Kitchen 命令行与 crontab/任务计划程序Kettle 为作业和转换分别提供了命令行执行器kitchen.sh 跑作业pan.sh 跑转换。我一般会在服务器上准备一个 run_daily.sh里面调用 kitchencd /opt/data-integration ./kitchen.sh -file/opt/etl/jobs/export_daily.kjb \ -param:START_DATE2025-01-01 \ -param:END_DATE2025-01-31 \ -level:Basic \ -logfile/var/log/etl/export_daily.log逻辑说明-file 指定作业文件-param 传命名参数-level 控制日志详细程度-logfile 把日志写进本地文件。然后注册到 crontab0 1 * * * /opt/data-integration/kitchen.sh -file/opt/etl/jobs/export_daily.kjb -level:Basic /var/log/etl/cron_export.log 21这样就实现了真正的定时跑批到点触发、跑完退出、日志可查。Windows 上用任务计划程序调用 kitchen.bat 是同样的思路。-level 参数我常用的几个值如下级别适用场景Error只看错误日志最小Basic记作业/转换开始、结束、错误日常跑批够用Detailed增加步骤级信息排查问题时用Debug几乎每行数据都输出极费磁盘只在开发时用4.4 参数传递从命名参数到环境变量跑批能复用的关键在参数化。第一步在转换属性里定义命名参数比如 CSV_FILE、TARGET_TABLE第二步在步骤里用 ${CSV_FILE} 这种变量引用第三步在命令行用 -param:CSV_FILE/data/input/daily.csv 覆盖。我还会在服务器上维护一个环境变量文件把每个环境的差异集中放在一起# /opt/etl/config/test.env export ENVtest export CSV_FILE/data/test/daily.csv export TARGET_TABLEstaging_daily # 跑批前先加载配置 source /opt/etl/config/test.env ./kitchen.sh -file/opt/etl/jobs/export_daily.kjb -param:CSV_FILE${CSV_FILE}这样测试、预发、生产就是三个 env 文件的区别Kettle 脚本本身完全不用动。我后来甚至在此基础上写了一个不到 100 行的调度助手读配置文件、拼 kitchen 命令、扫日志关键字段判断成败——这就是自建一个轻量级的 Kettle 跑批助手不需要重型调度平台也能满足大多数团队的需求。5. Kettle 9.5 避坑指南启动闪退、乱码、驱动与内存排查5.1 启动闪退多半不是脚本坏了是 JAVA_HOME 指错现象Windows 下双击 Spoon.bat窗口一闪就没了Linux 下 ./spoon.sh 直接退出想截图都来不及。原因最常见的是 JAVA_HOME 指向 JDK 7 或只装了 JRE启动脚本找不到 JDK 的 tools.jar。还有一部分是系统默认 Java 太新SWT 组件起不来。解决按顺序排查三步。第一在 cmd 里手动执行 Spoon.bat让报错停在屏幕上这一步能过滤大半问题第二echo %JAVA_HOME% 确认路径是不是 JDK 8第三打开 set-pentaho-env.bat把 PENTAHO_JAVA_HOME 直接写死。每次改完环境变量都要新开窗口旧窗口不会自动继承新值这是最容易反复踩的坑。5.2 连 MySQL 8 报错驱动类和 URL 参数一起改现象表输入或表输出时报 “The server time zone value ... is unrecognized”或者 “SSL connection ...”偶尔还有 ClassNotFoundException: com.mysql.jdbc.Driver。原因MySQL 8 把驱动类从 com.mysql.jdbc.Driver 改成了 com.mysql.cj.jdbc.Driver并且服务端对时区和 SSL 的要求更严格Kettle 自带的旧驱动不一定兼容。解决把较新版本的 mysql-connector-java jar 放进>./pan.sh -file/opt/etl/trans/load_staging.ktr -param:ENVtest -level:BasicPan 和 Kitchen 的分工要分清Pan 只执行转换Kitchen 执行作业。作业能编排多个转换和条件分支所以对外暴露的调度入口通常只有一个 kitchenPan 更多用于单独调试某个转换。6.2 变量替换是最好的验证方法我自己的习惯是同一个转换先让它接收 ${ENV}、${CSV_FILE}、${TARGET_TABLE} 三个变量测试、预发、生产共用一份 .ktr 文件只靠命令行参数区分环境。验证时故意传一个错误的文件路径看日志里是否明确报“文件不存在”同时确认 ${CSV_FILE} 有没有被替换成真实路径。如果日志里原样出现 ${CSV_FILE}说明参数没传进去而不是文件真丢了。这套流程走下来图形界面、命令行、外部调度各管一段Spoon 做开发和排错Pan 验证单个转换Kitchen 加 crontab 负责到点跑批。整个过程里最大的教训是一开始不要追求复杂作业先把一条 CSV 到表的链路跑到全自动再逐步加分支和重跑策略。花一上午把最小链路打通比搭一个看着庞大但没人敢碰的流程有用得多希望帮到你。本文还有配套的精品资源点击获取