第一部分 日志管理整体技术方案1. 方案概述为统一服务器部署应用的日志采集、存储、检索、告警、清理与安全管控能力解决日志散乱、无法排查问题、磁盘爆满、无追溯、不合规等问题建立标准化、可运维、高可靠、低成本的全链路日志管理体系。本方案适用于Linux服务器部署的Java、Python、Go、PHP等所有业务应用及Nginx、Redis、MySQL等中间件日志。2. 总体架构设计2.1 中小型业务标准架构推荐生产落地业务应用输出结构化日志 → 本地logrotate日志轮转兜底 → Filebeat轻量化采集 → Loki存储 → Grafana可视化检索告警2.2 大并发高可用架构业务应用日志 → logrotate本地切割 → Filebeat采集 → Kafka消息队列削峰缓冲 → Logstash日志清洗过滤 → Elasticsearch热数据检索 → 冷数据自动归档OSS对象存储2.3 架构设计原则业务解耦应用不直接推送远程日志仅本地写文件不占用业务IO与网络双兜底保障远端存储异常时本地日志完整留存不丢失数据冷热分离热数据可检索冷数据归档降本杜绝存储爆炸规范统一全服务统一结构化JSON格式、统一字段、统一日志级别安全合规自动脱敏、传输加密、操作审计、日志不可篡改3. 核心管理策略制度级规范3.1 日志采集策略采集范围业务应用日志、接口访问日志、错误异常日志、中间件日志Nginx/MySQL/Redis、服务器系统日志。禁止采集明文密码、手机号、身份证、银行卡等敏感数据冗余重复日志、无效调试日志。采集规则采用Filebeat轻量化采集异步批量上报开启背压与限流Java异常堆栈多行自动合并保证日志完整性。3.2 日志格式规范全线业务统一使用JSON结构化日志固定必填字段timestamp标准北京时间时间戳traceId全链路追踪ID核心排查字段level日志级别INFO/WARN/ERROR/FATALserviceName应用服务名serverIp部署服务器IPmodule代码模块/接口名message正常日志内容errorStack异常堆栈信息错误日志必填生产环境关闭DEBUG日志仅保留INFO及以上级别日志。3.3 日志存储与生命周期策略热数据0-7天Loki/ES支持实时检索、故障排查、告警分析温数据7-30天降低副本、开启压缩保留检索能力冷数据30天以上自动归档至OSS对象存储按需离线查询通用留存周期普通业务30-90天金融、政务合规业务180天以上3.4 日志轮转与清理策略磁盘防护核心所有日志文件禁止单文件无限累加必须双机制防护应用日志滚动 系统logrotate兜底。切割规则按日切割 单文件200MB阈值切割保留份数本地仅保留最近7天日志文件自动清理过期文件自动删除杜绝磁盘占满备份策略切割后文件自动压缩节省本地空间3.5 告警与监控策略统一配置日志告警规则触发后推送钉钉/企业微信服务ERROR/FATAL日志突增环比上涨50%业务服务长时间无日志输出服务宕机/卡死Filebeat采集中断、客户端离线日志存储磁盘使用率≥85%日志堆积、上报延迟过高3.6 安全合规策略数据脱敏日志输出阶段自动脱敏手机号、身份证、账号密码传输加密采集端至存储端全程TLS加密禁止明文传输不可篡改原始日志只读归档日志开启防篡改机制操作审计日志平台查询、下载、导出操作全程留痕权限最小化运维、开发分级授权禁止随意删除日志4. 整体落地流程需求梳理→规范制定→应用日志改造→采集组件部署→存储集群配置→可视化与告警配置→功能压测验证→灰度上线→日常巡检优化第二部分 日志管理实操运维手册1. 前置准备工作1.1 环境与资源梳理统计所有业务服务器IP、应用名称、日志存储路径确认业务日志量级预估每日存储占用明确业务合规留存时长、敏感字段清单1.2 组件版本选型采集端Filebeat 7.x/8.x稳定轻量生产首选缓冲高并发Kafka 2.x清洗可选Logstash 7.x存储检索Loki/Elasticsearch 7.x可视化告警Grafana/Kibana2. 应用端日志标准化改造开发落地2.1 统一日志框架配置所有应用使用logback/log4j2开启JSON结构化输出关闭DEBUG日志添加全链路字段实现敏感数据脱敏。2.2 应用日志滚动配置应用内部配置日志滚动单文件最大200MB按天切割保留7天日志配合系统logrotate双重防护。2.3 改造验收标准日志为标准JSON格式无杂乱非结构化文本必填字段齐全包含traceId、服务名、时间戳无明文敏感信息异常堆栈完整不截断生产环境无DEBUG日志输出3. 服务端实操部署运维落地3.1 Filebeat安装部署所有业务机必装1. 安装Filebeat并设置开机自启2. 核心配置filebeat.yml生产可用配置日志路径、多行合并、日志过滤、输出地址、限流重试、服务标签3. 校验配置文件filebeat test config4. 重启服务并设置开机自启验证采集状态3.2 Logrotate日志轮转配置系统兜底针对所有业务日志目录配置系统级轮转规则实现按大小、按时间切割自动压缩、自动清理彻底杜绝磁盘爆满。3.3 存储与可视化部署部署Loki/ES配置索引生命周期、冷热分离、存储压缩策略配置Grafana数据源搭建日志检索大盘、服务监控大盘配置日志告警规则、告警渠道、告警静默策略4. 上线验证流程4.1 功能验证正常日志实时采集、检索正常Java异常堆栈多行合并完整无拆分错乱可通过traceId、服务名、时间范围精准检索敏感字段脱敏生效4.2 故障验证远端存储离线本地日志正常留存无丢失网络恢复后日志自动补传同步日志量突增场景采集无堆积、无丢数4.3 告警验证手动触发错误日志验证告警及时推送、无漏告、无错告。5. 日常运维巡检手册5.1 每日巡检项检查所有服务器Filebeat服务运行状态检查服务器磁盘使用率、日志文件大小查看日志大盘确认无服务断流、无大量异常日志检查是否存在明文敏感数据泄露5.2 每周巡检项核查日志留存周期、冷热归档策略是否生效清理无效日志索引、过期冗余文件优化日志过滤规则剔除无效日志降低存储压力巡检告警规则清理无效告警、优化告警阈值5.3 每月巡检项整体日志量级统计评估存储扩容需求全量校验日志格式规范性故障演练模拟采集中断、存储宕机验证兜底能力6. 常见问题排错手册6.1 日志采集不到排查方向Filebeat服务状态、配置文件路径权限、日志文件是否为空、网络连通性、输出地址配置是否正确。6.2 异常日志堆栈拆分错乱原因未开启多行合并规则解决方案在Filebeat配置中开启Java堆栈多行匹配合并。6.3 服务器磁盘爆满原因未配置日志轮转、保留日志过多。解决方案完善logrotate配置强制切割清理设置最大保留天数。6.4 日志量过大导致存储压力高解决方案过滤无效INFO日志、开启存储压缩、严格执行冷热分离、缩短无效日志留存周期。6.5 日志出现敏感明文泄露解决方案代码层新增脱敏规则采集端补充过滤替换规则回溯清理违规日志。7. 生产落地禁忌红线规则禁止应用直接远程推送日志影响业务性能禁止单日志文件无限累加必须开启轮转禁止生产环境开启DEBUG日志禁止日志明文传输、明文留存敏感数据禁止随意删除、篡改原始业务日志附件生产可直接复制配置模板附件 1logrotate 日志轮转配置文件路径/etc/logrotate.d/applog# 业务应用日志轮转配置 /data/applogs/*.log { daily size 200M rotate 7 compress delaycompress missingok notifempty create 0644 www www sharedscripts postrotate # 通知应用重新打开日志句柄Java应用可发送SIGUSR1信号 pkill -USR1 -f java || true endscript }说明daily按天切割size 200M文件超过 200MB 触发切割rotate 7最多保留 7 个历史归档文件compressgzip 压缩旧日志delaycompress上一轮日志在下一次轮转时再压缩避免正在写入的文件压缩missingok日志文件不存在不报错notifempty空文件不轮转create新日志文件权限与属主postrotate 脚本用于通知应用刷新日志句柄防止应用继续写入旧已切割文件校验命令logrotate -d /etc/logrotate.d/applog附件 2Filebeat 生产标准 filebeat.ymlfilebeat.inputs: - type: filestream paths: - /data/applogs/*.log # Java异常堆栈多行合并 multiline.type: pattern multiline.pattern: ^[\d]{4}-[\d]{2}-[\d]{2} multiline.negate: true multiline.match: after # 标签区分环境、服务 tags: [prod,business-app] fields: env: prod fields_under_root: false # 采集限流防止IO打满 prospector.scanner.scan_frequency: 10s backoff.init: 1s backoff.max: 10s # 过滤规则丢弃DEBUG级别日志 processors: - drop_event: when: contains: message: level:DEBUG - add_fields: target: fields: serverIp: ${host.ip} # 输出配置【中小方案输出Loki高并发改为kafka】 output.loki: hosts: [http://127.0.0.1:3100] batch.size: 2048 batch.flush: 1s retry.max_attempts: 5 backoff.max: 5s # 输出到Kafka高并发场景注释上面loki启用下面kafka # output.kafka: # hosts: [kafka-01:9092,kafka-02:9092] # topic: app-log-prod # partition.round_robin: # reachable_only: true # batch.size: 2048 # retry.max_attempts: 5 # 监控与日志 logging.level: info logging.to_files: true logging.files: path: /var/log/filebeat name: filebeat keepfiles: 7 permissions: 0644校验 启停命令# 校验配置 filebeat test config # 启动 systemctl enable filebeat systemctl restart filebeat # 查看状态 systemctl status filebeat附件 3logback-spring.xml JSON 结构化日志配置SpringBoot Java 应用依赖引入 logstash-logback-encoder?xml version1.0 encodingUTF-8? configuration scantrue scanPeriod60 seconds debugfalse include resourceorg/springframework/boot/logging/logback/defaults.xml/ include resourceorg/springframework/boot/logging/logback/console-appender.xml/ property nameLOG_PATH value/data/applogs/ property nameLOG_FILE value${LOG_PATH}/app.log/ appender nameJSON_FILE classch.qos.logback.core.rolling.RollingFileAppender file${LOG_FILE}/file rollingPolicy classch.qos.logback.core.rolling.TimeBasedRollingPolicy fileNamePattern${LOG_PATH}/app.%d{yyyy-MM-dd}.%i.log/fileNamePattern timeBasedFileNamingAndTriggeringPolicy classch.qos.logback.core.rolling.SizeAndTimeBasedFNATP maxFileSize200MB/maxFileSize /timeBasedFileNamingAndTriggeringPolicy maxHistory7/maxHistory totalSizeCap2G/totalSizeCap /rollingPolicy encoder classnet.logstash.logback.encoder.LogstashEncoder includeMdcKeyNametraceId/includeMdcKeyName includeMdcKeyNameserviceName/includeMdcKeyName includeMdcKeyNameserverIp/includeMdcKeyName includeMdcKeyNamemodule/includeMdcKeyName customFields{env:prod}/customFields throwableConverter classnet.logstash.logback.stacktrace.ShortenedThrowableConverter maxDepthPerThrowable30/maxDepthPerThrowable shortenedClassNameLength20/shortenedClassNameLength excludesun.*|com.sun.*/exclude /throwableConverter /encoder /appender root levelINFO appender-ref refJSON_FILE/ /root /configuration说明MDC 中需要业务代码埋点注入 traceId、serviceName、module放入 MDC 上下文日志自动带入内置按天 200MB 双切割最多保留 7 天上限 2G作为应用侧滚动和系统 logrotate 双层防护输出标准 JSON包含异常堆栈适配 Filebeat 采集补充日志脱敏简易示例Java// 手机号脱敏 public static String maskPhone(String phone) { if(phone null || phone.length() 11) return phone; return phone.substring(0,3)****phone.substring(7); } // 身份证脱敏 public static String maskIdCard(String id) { if(id null || id.length() 18) return id; return id.substring(0,6)********id.substring(14); }