存储分布式文件系统缓存大数据【免费下载链接】alluxioAlluxio, data orchestration for analytics and machine learning in the cloud项目地址https://gitcode.com/gh_mirrors/al/alluxio点击查看免费下载本指南以 Alluxio 的日志记录体系为核心系统讲解如何通过conf/log4j.properties完全控制 Alluxio 各进程Master、Worker、Clients、FUSE、Proxy的日志行为包括默认本地日志、基于 Log4J SocketAppender 的手动远程日志、开箱即用的 Alluxio 日志服务器LogServer集中汇总方案以及运行时动态调整日志级别的logLevel命令。读完本文你将掌握从单机日志排查到大规模集群日志聚合的完整配置与排障能力。Alluxio 日志体系概述Alluxio 的日志行为完全由conf目录下的 log4j.properties 文件配置该文件是所有 Alluxio 进程Master、Worker、Clients、FUSE、Proxy 以及 Job Master / Job Worker日志行为的统一入口。默认情况下Alluxio 将日志保存到logs目录下可以通过修改alluxio.logs.dir系统属性来配置日志所在目录。每个 Alluxio 进程的日志对应不同的文件从仓库中的 conf/log4j.properties 可以看到完整的文件划分进程类型默认日志文件对应 appenderMastermaster.logMASTER_LOGGERSecondary Mastersecondary_master.logSECONDARY_MASTER_LOGGERWorkerworker.logWORKER_LOGGERProxyproxy.logPROXY_LOGGERFUSEfuse.logFUSE_LOGGERJob Masterjob_master.logJOB_MASTER_LOGGERJob Workerjob_worker.logJOB_WORKER_LOGGER客户端Useruser_${user.name}.logUSER_LOGGER日志服务器自身logserver.logLOGSERVER_LOGGER此外Master、Job Master、Proxy 还各自拥有独立的审计日志master_audit.log、job_master_audit.log、proxy_audit.log分别由MASTER_AUDIT_LOGGER、JOB_MASTER_AUDIT_LOGGER、PROXY_AUDIT_LOGGER承担审计日志通过log4j.additivity.*false与普通日志隔离。log4j.rootLogger的默认定义如下其中${alluxio.logger.type}由启动脚本按进程类型注入如MASTER_LOGGER、WORKER_LOGGER${alluxio.remote.logger.type}则仅在配置了日志服务器时生效log4j.rootLoggerINFO, ${alluxio.logger.type}, ${alluxio.remote.logger.type}从启动脚本 libexec/alluxio-config.sh 可以看到日志配置通过 JVM 参数统一注入ALLUXIO_JAVA_OPTS -Dlog4j.configurationfile:${ALLUXIO_CONF_DIR}/log4j.properties这解释了为什么只需修改conf/log4j.properties一处即可覆盖所有 Alluxio 进程。默认本地日志的配置要点默认的本地日志 appender 使用RollingFileAppender以 Master 为例见 conf/log4j.propertieslog4j.appender.MASTER_LOGGERorg.apache.log4j.RollingFileAppender log4j.appender.MASTER_LOGGER.File${alluxio.logs.dir}/master.log log4j.appender.MASTER_LOGGER.MaxFileSize10MB log4j.appender.MASTER_LOGGER.MaxBackupIndex100 log4j.appender.MASTER_LOGGER.layoutorg.apache.log4j.PatternLayout log4j.appender.MASTER_LOGGER.layout.ConversionPattern%d{ISO8601} %-5p %t - %m%n几个值得注意的默认值滚动策略单文件达到MaxFileSize10MB即滚动MaxBackupIndex控制保留的备份文件数量Master/Worker 等为 100User 为 10FUSE 为 10 且单文件上限 100MB布局格式%d{ISO8601}时间戳、%-5p级别、%t线程与源码位置便于定位具体代码行噪声抑制仓库中的配置文件还针对 Parquet 写入器、AWS 元数据工具、Netty、Ratis 等第三方库做了级别收敛如InternalParquetRecordWriterWARN、部分 noisy 日志OFF避免日志被高频无关输出淹没。若需调整日志目录可在conf/alluxio-env.sh或 JVM 参数中设置-Dalluxio.logs.dir目录所有${alluxio.logs.dir}引用会随之生效。手动远程日志记录SocketAppender 方案默认情况下日志记录在本地磁盘。在特定环境下将日志汇聚到中心机器更可靠、更便于集中检索。Alluxio 支持使用 Log4J 的SocketAppender实现这一目标。此方案的思路是日志服务器端运行SimpleSocketServer各 Alluxio 进程通过 Socket 将日志事件推送到服务器端。第一步搭建日志服务器端确定汇集日志的主机在该主机上下载 Log4J 1.2.17 的 jar其中包含日志记录服务器端的实现准备一份服务器端的log4j.properties——Alluxioconf文件夹中已提供该模板请将文件中所有{alluxio.*}变量替换为完整值例如用/opt/alluxio/logs替换{alluxio.logs.dir}使用以下命令启动服务器$ java -cp PATH_TO_LOG4J_JAR org.apache.log4j.net.SimpleSocketServer PORT PATH_TO_LOG4J_PROPERTIES服务器启动后即可接收任何到来的 SocketAppender 流量可通过查看日志目录中的日志文件验证日志文件的前两行会记录服务器成功启动的信息。第二步修改 Alluxio 进程端配置在 Alluxio 进程端更新conf/log4j.properties。例如对MASTER_LOGGER用如下属性替代原有定义log4j.appender.MASTER_LOGGERorg.apache.log4j.net.SocketAppender log4j.appender.MASTER_LOGGER.PortPORT log4j.appender.MASTER_LOGGER.RemoteHostHOSTNAME_OF_LOG_SERVER log4j.appender.MASTER_LOGGER.ReconnectionDelayMILLIS_TO_WAIT_BEFORE_RECONNECTION_ATTEMPT log4j.appender.MASTER_LOGGER.layoutorg.apache.log4j.PatternLayout log4j.appender.MASTER_LOGGER.layout.ConversionPattern%d{ISO8601} %-5p %c{1} - %m%n然后重启 Alluxio 进程以加载最新配置。之后日志将重定向到远程服务器而非本地文件。第三步注意事项该服务器是长期运行的进程建议用独立服务如 systemd、supervisor守护其存活如果日志服务器不可用Alluxio 进程本身不会受到影响但该时间窗口内的日志记录将会丢失与各机器分别记录日志不同远程记录天然实现了日志聚合可集中查看整个集群的事件序列。同时保留本地与远程日志多 appender通常将日志同时保存到本地和远程机器是很有益处的——本地保证实时可查远程保证集中归档。Log4J 支持将多个 appender 关联到同一个 logger。以 Master 日志为例同时配置本地滚动文件与远程 Socket 两个 appenderlog4j.rootLoggerINFO, ${alluxio.logger.type}_FILE, ${alluxio.logger.type}_SOCKET log4j.appender.MASTER_LOGGER_FILEorg.apache.log4j.RollingFileAppender log4j.appender.MASTER_LOGGER_FILE.File${alluxio.logs.dir}/master_file.log log4j.appender.MASTER_LOGGER_FILE.MaxFileSize10MB log4j.appender.MASTER_LOGGER_FILE.MaxBackupIndex100 log4j.appender.MASTER_LOGGER_FILE.layoutorg.apache.log4j.PatternLayout log4j.appender.MASTER_LOGGER_FILE.layout.ConversionPattern%d{ISO8601} %-5p %c{1} - %m%n log4j.appender.MASTER_LOGGER_SOCKETorg.apache.log4j.net.SocketAppender log4j.appender.MASTER_LOGGER_SOCKET.PortPORT log4j.appender.MASTER_LOGGER_SOCKET.RemoteHostHOSTNAME_OF_LOG_SERVER log4j.appender.MASTER_LOGGER_SOCKET.ReconnectionDelayMILLIS_TO_WAIT_BEFORE_RECONNECTION_ATTEMPT log4j.appender.MASTER_LOGGER_SOCKET.layoutorg.apache.log4j.PatternLayout log4j.appender.MASTER_LOGGER_SOCKET.layout.ConversionPattern%d{ISO8601} %-5p %c{1} - %m%n这是 Alluxio 使用远程日志的一个可运行示例。Alluxio 也鼓励用户探索 Log4J 或第三方提供的各种 appender如 Kafka、Syslog 等与配置选项打造最适合实际用例的日志方案。部署 Alluxio 日志服务器官方 LogServer 方案除了手工搭建SimpleSocketServerAlluxio 还提供了内置的集中式日志服务器LogServer这是系统管理者进行日志收集的推荐路径。得益于远程日志汇总功能所有 Alluxio 服务器上的日志如master.log、worker.log等都可以在日志服务器上指定的、可配置的路径下轻松获取。工作原理与源码依据从源码看日志服务器是一个独立的 Alluxio 进程 AlluxioLogServerProcess.javaAlluxio masters and workers generate logs and store the logs in local storage.AlluxioLogServerProcessallows masters and workers to push their logs to a centralized log server where another copy of the logs will be stored.即各 Alluxio 服务器本地日志照常保留同时把日志推送一份副本到集中式日志服务器——这与手动方案不同无需放弃本地日志。LogServer 通过线程池处理来自各服务器的 Socket 连接端口与线程数分别由PropertyKey.LOGSERVER_PORT、LOGSERVER_THREADS_MIN、LOGSERVER_THREADS_MAX控制。各 Alluxio 进程之所以知道把日志推给谁是因为 conf/log4j.properties 中预定义了REMOTE_MASTER_LOGGER、REMOTE_WORKER_LOGGER、REMOTE_JOB_MASTER_LOGGER等一批 SocketAppenderlog4j.appender.REMOTE_MASTER_LOGGERorg.apache.log4j.net.SocketAppender log4j.appender.REMOTE_MASTER_LOGGER.Port${alluxio.logserver.port} log4j.appender.REMOTE_MASTER_LOGGER.RemoteHost${alluxio.logserver.hostname} log4j.appender.REMOTE_MASTER_LOGGER.ReconnectionDelay10000 log4j.appender.REMOTE_MASTER_LOGGER.filter.IDalluxio.AlluxioRemoteLogFilter log4j.appender.REMOTE_MASTER_LOGGER.filter.ID.ProcessTypeMASTER log4j.appender.REMOTE_MASTER_LOGGER.ThresholdWARN注意这里引用了alluxio.AlluxioRemoteLogFilter见 AlluxioRemoteLogFilter.java它通过 MDC 把进程类型ProcessTypeMASTER等写入日志事件日志服务器据此将来自不同机器的日志分门别类地落盘。由于远程通道默认设置了ThresholdWARN只会将 WARN 及以上级别的日志推送至服务器降低网络与存储开销。LogServer 端使用LOGSERVER_LOGGER记录自身日志使用LOGSERVER_CLIENT_LOGGER常量定义见 AlluxioLogServerProcess.java为各远程客户端代写日志——其文件名由 LogServer 动态推导无需在配置中指定。用环境变量启用远程日志汇总默认情况下远程日志汇总功能未开启。要启用只需设置三个环境变量ALLUXIO_LOGSERVER_HOSTNAMEAlluxioLogServer ALLUXIO_LOGSERVER_PORT45010 ALLUXIO_LOGSERVER_LOGS_DIR/tmp/alluxio_remote_logs将它们加入conf/alluxio-env.sh。Alluxio 对日志服务器运行位置没有特殊要求只要其他 Alluxio 服务器能访问它即可官方示例将日志服务器与 Master 部署在同一台机器上。在启动脚本 libexec/alluxio-config.sh 中这三个变量会被转换成 JVM 系统属性ALLUXIO_LOGSERVER_LOGS_DIR${ALLUXIO_LOGSERVER_LOGS_DIR:-${ALLUXIO_HOME}/logs} if [[ -n ${ALLUXIO_LOGSERVER_HOSTNAME} ]]; then ALLUXIO_JAVA_OPTS -Dalluxio.logserver.hostname${ALLUXIO_LOGSERVER_HOSTNAME} fi if [[ -n ${ALLUXIO_LOGSERVER_PORT} ]]; then ALLUXIO_JAVA_OPTS -Dalluxio.logserver.port${ALLUXIO_LOGSERVER_PORT} fi随后各进程的 JAVA_OPTS 组装逻辑见 libexec/alluxio-config.sh会仅在两个变量同时非空时注入-Dalluxio.remote.logger.typeREMOTE_*_LOGGER从而激活对应的 SocketAppender——这正是log4j.rootLogger中${alluxio.remote.logger.type}的来源也解释了为何不设置变量时远程汇总保持关闭。重启 Alluxio 与日志服务器修改参数后先重启日志服务器再重启 Alluxio这样可确保 Alluxio 在启动阶段生成的日志也能被汇总到日志服务器。启动日志服务器$ ./bin/alluxio-start.sh logserver在 Alluxio master 上启动整个集群$ ./bin/alluxio-start.sh all SudoMount验证日志服务器已启动SSH 登录到日志服务器所在的机器进入预先设置的远程日志存储目录上述例子为/tmp/alluxio_remote_logs$ cd /tmp/alluxio_remote_logs $ ls master proxy secondary_master worker $ ls -l master/ ... -rw-r--r-- 1 alluxio alluxio 26109 Sep 13 08:49 34.204.198.64.log ...从输出可以看到日志按类型被放入不同文件夹Master 日志放入master/Worker 日志放入worker/依此类推每个文件夹内不同服务器的日志文件通过该服务器的 IP/hostname 区分。日志服务器自身的运行日志则记录在alluxio.logs.dir下的logserver.log对应LOGSERVER_LOGGERappender。运行时动态更改日志级别logLevel 命令无需重启进程即可调整某个类的日志级别是线上排障的利器。Alluxio shell 提供了logLevel命令其实现位于 LogLevel.java并在 LogLevelTest.java 中覆盖了命令行解析与参数校验等场景。语法如下alluxio logLevel --logNameNAME [--targetmaster|worker|host:port] [--levelLEVEL]--logName日志logger的名称即类的全限定名--target需要设定的 Alluxio Master 或 Worker 列表支持master、workers、具体host:port多个目标用逗号分隔--level目标日志级别如DEBUG、INFO、WARN、ERROR。如果提供了level命令执行级别修改否则仅获取并显示当前日志级别。示例一将alluxio.heartbeat.HeartbeatContext类的日志级别在 master 和192.168.100.100:30000的 worker 上设置为调试级别$ ./bin/alluxio logLevel --loggerNamealluxio.heartbeat.HeartbeatContext \ --targetmaster,192.168.100.100:30000 --levelDEBUG示例二获取alluxio.heartbeat.HeartbeatContext类在所有 worker 上的当前日志级别$ ./bin/alluxio logLevel --loggerNamealluxio.heartbeat.HeartbeatContext --targetworkers动态调整日志级别在排查心跳、锁竞争等疑难问题时尤为实用先用--levelDEBUG临时打开目标类的详细日志定位问题后再调回INFO全程无需重启 Master 或 Worker。客户端日志记录配置运行在计算框架如 Spark、Presto进程中的 Alluxio 客户端其日志默认与框架日志混杂。为了独立调试通常希望把客户端日志单独落盘。做法是向计算框架进程传入以下 Java 选项-Dalluxio.log.dir/var/alluxio/ -Dalluxio.logger.typeUSER_LOGGER -Dlog4j.configuration/tmp/alluxio/conf/log4j.properties这组选项的含义指导 Alluxio 客户端使用 Alluxioconf路径下的 log4j 配置并把日志输出到/var/alluxio/下名为user_USER_NAME.log的文件中——USER_NAME是启动该客户端程序的系统用户名与配置文件中user_${user.name}.log的user.name系统属性对应见 conf/log4j.properties。几点实践建议客户端与安装机器分离的场景如果客户端机器与安装 Alluxio 的机器不同可把conf/log4j.properties复制到客户端机器并将该路径传给log4j.configuration选项不想覆盖应用自身的log4j.properties路径时可将以下内容追加到应用的log4j.properties中为 Alluxio 客户端单独声明 appender# Appender for Alluxio User log4j.rootLoggerINFO,${alluxio.logger.type} log4j.appender.USER_LOGGERorg.apache.log4j.RollingFileAppender log4j.appender.USER_LOGGER.File${alluxio.logs.dir}/user_${user.name}.log log4j.appender.USER_LOGGER.MaxFileSize10MB log4j.appender.USER_LOGGER.MaxBackupIndex10 log4j.appender.USER_LOGGER.layoutorg.apache.log4j.PatternLayout log4j.appender.USER_LOGGER.layout.ConversionPattern%d{ISO8601} %-5p %c{1} - %m%n总结如何选择日志方案场景推荐方案关键操作单机开发与基本排障默认本地日志无需改动查看logs/下各进程日志集群集中检索、审计归档官方 LogServer设置ALLUXIO_LOGSERVER_*环境变量后重启轻量级、可完全自控的远程日志手工SimpleSocketServer下载 Log4J jar替换 appender 为 SocketAppender本地与远程都要保留多 appender 关联同一 logger同时配置 File Socket 两类 appender线上问题快速定位logLevel命令对目标类临时提升日志级别无需重启如需了解集群模式下如何规划各节点的部署与启动顺序可参考以集群模式运行 Alluxio 文档。Alluxio 的日志配置入口始终只有一个——conf/log4j.properties掌握 appender 组合与启动脚本的变量注入逻辑后你便可以按需组合出任何适合生产环境的日志方案。赞分享存储分布式文件系统缓存大数据【免费下载链接】alluxioAlluxio, data orchestration for analytics and machine learning in the cloud项目地址https://gitcode.com/gh_mirrors/al/alluxio点击查看免费下载相关推荐Vortex模组管理器终极指南从零开始打造你的个性化游戏世界Vortex模组管理器终极指南从零开始打造你的个性化游戏世界 你是否曾经因为模组冲突而花费数小时排查问题是否在不同游戏间切换时模组管理让你感到力不从心V桌面应用Gatus日志系统多级别日志记录与调试Gatus日志系统多级别日志记录与调试 概述 Gatus作为一款面向开发者的自动化健康状态监控面板其日志系统采用了高度灵活的多级别日志记录机制。通过集成 g后端健康检查告警后端日志级别管理Ghostfolio的日志动态调整实现后端日志级别管理Ghostfolio的日志动态调整实现 日志级别管理的痛点与解决方案 在大型应用程序开发中日志系统扮演着至关重要的角色它不仅是调试问题的关后端前端金融科技数据可视化上一篇零基础快速上手抖音下载器完整使用指南下一篇Sunshine 游戏串流入门到进阶从装好到丝滑的全流程创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考