运维基础知识什么是运维运维Operations and Maintenance本意为运行维护。负责监控、管理设备或系统保障业务的正常运行。处理工作中遇到的各种问题并总结经验教训优化提高运维的效率和质量。本质上是对服务器、网络等设备及服务的生命周期各个阶段的运营与维护在成本、稳定性、效率上达成一致可接受的状态。运维的目标是确保系统的稳定性、可靠性和安全性提高系统的性能和可用性保证业务的连续性和高效性。[!tip]在ICT行业中我们通常将执行运维动作的人称为运维工程师。运维工作包括硬件设备的安装、配置、维护和升级软件系统的安装、配置、维护和升级网络设备的配置、维护和监控以及数据备份、恢复和安全管理等。运维人员的职责运维人员的职责是根据业务需要规划信息、网络、服务通过网络监控、事件预警、业务调度、排障升级等手段使服务处于长期稳定可用状态。[!tip]运维人员对公司互联网业务所依赖的基础设施、基础服务、线上业务进行稳定性加强进行日常巡检发现服务可能存在的隐患对整体架构进行优化以屏蔽常见的运行故障多数据中接入提高业务的容灾能力。通过监控、日志分析等技术手段及时发现和响应服务故障减少服务中断的时间使公司的互联网业务符合预期的可用性要求持续稳定地为用户提供务。做一个好的运维工程师除了具备良好的综合技能水平还要有一个负责任的工作态度这也是优秀运维工程师具备的素质。在互联网行业常见的组织架构中运维与开发测试都是基本的的技术岗位。从时间环节来讲开发与测试从事的主要是在软件或服务上线投入使用前的工作而运维则主要从事上线后的维护工作运维开发除外。从运维工作本身又可细分为如下分类IT运维、网络运维、业务运维、运维开发。自动化运维时代的到来传统的人工运维正在逐渐被自动化运维平台所替代运维人员与开发人员也在面向融合运维开发一体化的概念正在被越来越多的企业内部关注和应用。[!tip]IT运维经历了十多年的兴衰沉浮现在它正面临着一种新的姿态——自动化这是IT技术发展的必然结果。现在IT系统的复杂性客观上要求它的运行和维护必须能够实现数字化和自动化。自动化运维是指IT运维中日常和重复性工作的自动化以及人工工作向自动化的转变。自动化是IT运维的升华。IT运维自动化不仅是一个维护过程也是一个管理提升过程。它是IT运维的最高水平也是未来的发展趋势。DevSecOps运维开发一体化是一组过程、方法与系统的统称用于促进开发、技术运营运维和质量保障QA部门之间的沟通、协作与整合。DevSecOps消除了两个传统部分之间的壁垒让企业效率大幅度提升。云时代运维的变迁[!tip]相比传统运维云运维在很大程度上能够释放企业原有自行运维的成本压力。通过公有云的运维管理类服务几乎能够让用户可以不花钱就能够完成日常的运维并且这一切的运维、管理类服务都是基于自动化运维技术来做支撑的。华为云秉承“将公司对网络和业务安全性保障的责任置于公司的商业利益之上”。针对层出不穷的云安全挑战和无孔不入的云安全威胁与攻击华为云在遵从法律法规业界标准的基础上以安全生态圈为护城河依托华为独有的软硬件优势构建面向不同区域和行业的完善云服务安全保障体系。华为云上安全性安全性是华为云与用户的共同的责任。[!tip]华为云负责云服务自身的安全提供安全的云。租户负责云服务内部的安全安全地使用云。统一身份认证服务IAM统一身份认证管理服务IAMIAM(Identity and Access Management)又叫统一身份认证管理服务是华为云提供权限管理的基础服务可以帮助用户安全地控制华为云服务和资源的访问权限。当用户想要共享资源给其他人但又不想共享自己的账号和密码时可以通过创建IAM用户来实现。IAM服务的主要能力有身份凭证、安全管理、权限管理、资源委托、身份提供商。[!tip]在企业中一般有多个IT管理员这些IT运维人员各有分工每人管辖的资源不一样岗位不相同对应的权限也需要区分。因此不能让每个人都拿到超级管理员的权限需要做分权分域管理。华为云IAM允许企业主账号分配多个子账号以满足分权分域的需求。身份凭证是识别用户身份的依据用户通过控制台或者API访问华为云时需要使用身份凭证来通过系统的鉴权认证。身份凭证包括密码和访问密钥用户可以在IAM中管理自己以及帐号中IAM用户的身份凭证。权限管理权限根据授权的精细程度分为策略和角色。角色角色是IAM最初提供的一种粗粒度的授权能力当前有部分云服务不支持基于角色的授权。 角色并不能满足用户对精细化授权的要求无法完全达到企业对权限最小化的安全管控要求。策略策略是IAM最新提供的一种细粒度授权的能力可以精确到具体操作、资源、条件等。能够满足企业对权限最小化的安全管控要求。例如针对ECS服务管理员能够控制IAM用户仅能对某一类云服务器的资源进行指定的管理操作。策略包含系统策略和自定义策略。云服务在IAM预置了常用授权项称为系统策略。管理员给用户组授权时可以直接使用这些系统策略。系统策略只能使用不能修改。如果系统策略无法满足授权要求管理员可以根据各服务支持的授权项创建自定义策略并通过给用户组授予自定义策略来进行精细的访问控制自定义策略是对系统策略的扩展和补充。目前支持可视化视图、JSON视图两种自定义策略配置方式。委托委托根据委托对象的不同分为委托其他帐号和委托其他云服务。委托其他帐号通过委托信任功能可以将自己帐号中的资源操作权限委托给更专业、高效的其他帐号被委托的帐号可以根据权限代替用户进行资源运维工作。委托其他云服务由于华为云各服务之间存在业务交互关系一些云服务需要与其他云服务协同工作需要创建云服务委托将操作权限委托给该服务让该服务以你的身份使用其他云服务代替你进行一些资源运维工作。[!tip]通过创建委托可以将资源共享给其他帐号或委托更专业的人或团队来代为管理资源。被委托方使用自己的帐号登录后切换到委托方帐号即可管理委托方委托的资源避免委托方共享自己的安全凭证密码/密钥给他人确保帐号安全。项目与企业项目区域默认对应一个项目这个项目由系统预置用来隔离物理区域间的资源计算资源、存储资源和网络资源以默认项目为单位进行授权用户可以访问用户帐号中该区域的所有资源。如果希望进行更加精细的权限控制可以在区域默认的项目中创建子项目并在子项目中购买资源然后以子项目为单位进行授权使得用户仅能访问特定子项目中资源。企业项目是项目的升级版针对企业不同项目间资源的分组和管理是逻辑隔离。企业项目中可以包含多个区域的资源且项目中的资源可以迁入迁出。[!tip]如果用户开通了企业管理服务将不能创建新的IAM项目只能管理已有项目。未来IAM项目将逐渐被企业项目所替代推荐使用更为灵活的企业项目。资源的精细访问控制如果在华为云购买了多种资源例如弹性云服务器、云硬盘、裸金属服务器等可以使用IAM的用户管理功能给员工或应用程序创建IAM用户并授予IAM用户刚好能完成工作所需的权限新创建的IAM用户可以使用自己单独的用户名和密码登录华为云。IAM用户的作用是多用户协同操作同一帐号时避免分享帐号的密码。[!tip]除了IAM外还有企业管理服务同样可以进行资源权限管理相对于IAM企业管理对资源的控制粒度更为精细同时还支持企业项目费用的管理建议结合企业需求选择IAM或是企业管理进行资源权限管理。跨帐号的资源操作与授权如果在华为云购买了多种资源其中一种资源希望由其它帐号管理可以使用IAM提供的委托功能。例如希望将资源委托给一家专业的代运维公司来运维通过IAM的委托功能代运维公司可以使用自己的帐号对委托的资源进行运维。当委托关系发生变化时可以随时修改或撤消对代运维公司的授权。图中帐号A即为委托方帐号B为被委托方。[!tip]当用户希望把在华为云上购买的部分资源委托给一家专业的代运维公司来运维通过IAM的委托功能代运维公司可以使用自己的帐号对委托的资源进行运维。当委托关系发生变化时用户可以随时修改或撤消对代运维公司的授权。图中帐号A即为委托方帐号B为被委托方。使用企业已有帐号登录华为云希望本企业员工可以使用企业内部的认证系统登录华为云而不需要在华为云中重新创建对应的IAM用户可以使用IAM的身份提供商功能建立所在企业与华为云的信任关系通过联合认证使员工使用企业已有帐号直接登录华为云实现单点登录。[!tip]IAM支持基于SAML、OIDC协议的单点登录如果已经有自己的企业管理系统同时用户需要使用帐号内的云服务资源可以使用IAM的身份提供商功能实现用户使用企业管理系统帐号单点登录华为云这一过程称之为联邦身份认证。使用联邦身份认证的优势管理用户简单使用联邦身份认证后企业管理员只需要在企业管理系统中为用户创建帐号用户即可同时访问两个系统降低了人员管理成。使用联邦身份认证后用户在本企业管理系统中登录即可访问两个系统。应用场景 - 多运维人员权限设置案例XX公司在华为云中购买了多种资源公司中有多个职能团队各职能团队需要使用一种或者多种资源因此涉及到多运维人员权限设置需求通过IAM的权限管理功能可以实现该需求。智能团队授予的策略说明资源总运维Tenant Administrator所有云资源的所有执行权限财务管理BSS Administrator费用中心、资源中心、帐号中心的所有执行权限查看资源Tenant Guest所有资源的只读权限计算域运维ECS FullAccess, CCE FullAccess, AutoScaling FullAccessECS/CCE/AS资源的所有执行权限网络域运维VPC FullAccess, EIP FullAccess, ELB FullAccessVPC/EIP/ELB资源的所有执行权限数据库运维RDS FullAccess, DDS FullAccessRDS/DDS资源的所有执行权限安全领域运维Anti-DDoS Administrator, CAD Administrator, KMS AdministratorAnti-DDoS/DDoS资源的所有执行权限消息通知服务SMN什么是消息通知服务SMN消息通知服务Simple Message NotificationSMN是可靠的、可扩展的、海量的消息处理服务。它可以依据用户的需求主动推送通知消息最终用户可以通过短信、电子邮件等方式接收。通过消息通知服务用户可以高效且便宜的方式将消息推送给电子邮箱手机号码、以及HTTP(S)应用程序。[!tip]通过消息通知服务您可以轻松的集成其它云服务(例如CES、OBS、AS等)并接受它们的事件通知做到海量、群发。产品架构SMN的主题订阅模型旨在提供一对多的消息订阅以及通知功能能够实现一站式集成多种推送通知方式。在SMN中有两种类型的客户端即发布者和订阅者。发布者通过主题发布消息由SMN将消息推送给主题订阅者订阅者可以为邮箱地址、手机号码、函数及URL地址。[!tip]主题作为消息的集合是一个逻辑访问点和通信渠道拥有唯一的主题名称。主题创建者可以设置主题策略授权其他云服务或者用户操作该主题例如查询主题订阅者列表、发布消息等。功能优势优势说明简便易用直接使用消息通知服务只需要创建Topic、订阅Topic、发送消息就能够快速高效的发送消息使用门槛极低可以快速融入业务使用稳定可靠消息在多数据中心冗余Topic支持透明迁移。消息推送失败可以设置消息推送到SMN进行持久化。服务单节点故障请求会自动迁移到可用节点多协议通知使用消息通知服务只需要通过一次发布请求就能向各种协议的订阅者推送消息安全可靠消息通知服务数据安全是基于Topic进行安全隔离用户未经授权不能访问队列消息有效保护用户业务安全。常见基本概念应用场景系统告警系统告警是由预定义阈值触发的通知通过邮件、短信、HTTP和HTTPS等多种通知方式发送给特定用户。举例来说很多云服务都使用SMN从而可使您在事件发生如云审计服务检测到云服务资源发生关键操作时能立即接收到通知。与云服务的集成将SMN作为消息连接不同的云服务可降低系统复杂度提升服务使用效率。例如将消息从云服务如CES通知到其他服务如OBS实现服务解耦。即便一个服务出现故障也不会影响到其他服务。错峰流控上下游系统处理能力有差异时可以使用SMN转储系统间的通信数据提供消息堆积缓冲能力减少下游系统的压力可减少系统崩溃等问题提高系统可用性降低系统实现的复杂性。云监控服务CES什么是云监控服务CES云监控服务Cloud Eye Service简称CES为用户提供一个针对弹性云服务器、带宽等资源的立体化监控平台。使用户可以全面了解华为云上的资源使用情况、业务的运行状况并及时收到异常报警从而做出反应保证业务顺畅运行。[!tip]云监控服务主要具有以下功能自动监控云监控服务不需要开通监控服务会根据用户创建的弹性云服务器资源或者弹性伸缩等自动启动。用户在创建和使用云服务后可直接到云监控服务查看该服务运行状态并设置告警规则。实时通知通过在告警规则中开启消息通知服务当云服务的状态变化触发告警规则设置的阈值时系统通过短信、邮件通知或发送消息至服务器地址等多种方式实时通知用户让用户能够实时掌握云资源运行状态变化。监控面板使用户能在一个监控面板跨服务、跨维度地查看监控数据将用户关注的重点服务监控指标集中呈现既能满足用户总览云服务运行概况又能满足排查故障时查看监控详情的需求。资源分组资源分组支持用户从业务角度集中管理其业务涉及到的弹性云服务器、云硬盘、弹性IP、带宽、数据库等资源。从而按业务来管理不同类型的资源、告警规则、告警历史可以迅速提升运维效率。CES的优势云监控服务CES主要有以下优势[!tip]自动开通云监控服务会自动开通。同时用户可以很方便使用云监控服务管理控制台或API接口查看云服务运行状态并设置告警规则。实时可靠原始采样数据实时上报提供对云服务的实时监控实时触发产生告警并通知用户。监控可视化云监控服务通过监控面板为用户提供丰富的图表展现形式支持数据自动刷新以及指标对比查看满足用户多场景下的监控数据可视化需求。多种通知方式通过在告警规则中开启消息通知当云服务的状态变化触发告警规则设置的阈值时系统提供邮件和短信通知还可以通过HTTP、HTTPS将告警信息发送至告警服务器用户可以在第一时间知悉业务运行状况便于构建智能化的程序处理告警。批量创建告警规则告警模板可以帮助用户为多个云服务快速创建告警规则极大的提高了维护人员的工作效率。CES的产品架构云监控服务为用户提供一个针对弹性云服务器、带宽等资源的立体化监控平台。使用用户全面了解云上的资源使用情况、业务的运行状况并及时收到异常告警做出反应保证业务顺畅运行。[!tip]消息通知服务Simple Message NotificationSMN是可靠的、可扩展的、海量的消息处理服务。它可以依据用户的需求主动推送通知消息最终用户可以通过短信、电子邮件等方式接收。监控面板和监控指标监控面板为用户提供自定义查看监控数据的功能将用户关注的核心服务监控指标集中呈现在一张监控面板里并且可定制成一个立体化的监控平台。监控指标是云监控服务的核心概念通常是指云平台上某个资源的某个维度状态的量化值如云服务器的CPU使用率、内存使用率等。[!tip]当前云监控支持每个用户最多创建20个监控面板每个监控面板支持创建24个监控视图同一个监控视图里可以添加50个监控指标支持跨服务、跨维度、跨指标进行对比监控。监控面板还支持在一个监控项内对不同服务、不同维度的数据进行对比查看帮助用户实现不同云服务间性能数据对比查看的需求。监控指标是与时间有关的变量值会随着时间的变化产生一系列监控数据帮助用户了解特定时间内该监控指标的变化。主机监控主机监控分为基础监控、操作系统监控、进程监控。可以通过主机监控来采集丰富的操作系统层面监控指标也可以使用主机监控进行服务器资源使用情况监控和排查故障时的监控数据查询。[!tip]主机监控分为基础监控、操作系统监控、进程监控基础监控ECS/BMS自动上报的监控指标。操作系统监控通过在ECS或BMS中安装Agent插件为用户提供服务器的系统级、主动式、细颗粒度监控服务。进程监控针对主机内活跃进程进行的监控默认采集活跃进程消耗的CPU、内存以及打开的文件数量等信息。功能介绍多种监控指标安装Agent后云监控服务会提供CPU、内存、磁盘、网络等四十余种监控指标满足服务器的基本监控运维需求。细颗粒度监控安装Agent插件后Agent相关监控指标为1分钟上报1次。进程监控采集当前活跃进程占用的 CPU、内存和打开文件数让用户了解弹性云服务器或裸金属服务器的资源使用情况。事件监控事件监控提供了事件类型数据上报、查询和告警的功能。方便用户将业务中的各类重要事件或对云资源的操作事件收集到云监控并在事件发生时进行告警。事件是云监控服务保存并监控的云服务资源的关键操作可以通过事件了解到谁在什么时间对系统哪些资源做了什么操作如删除虚拟机、重启虚拟机等。云服务监控云监控服务基于云服务自身的服务属性已经内置了详细全面的监控指标。当用户在云平台上开通云服务后系统会根据服务类型自动关联该服务的监控指标帮助用户实时掌握云服务的各项性能指标精确掌握云服务的运行情况。站点监控功能介绍站点监控用于模拟真实用户对远端服务器的访问从而探测远端服务器的可用性、连通性等问题。站点监控可以探测域名、IP的可用性、访问响应时间、丢包率并对监控结果告警。[!tip]功能优势支持创建、修改、停用、启用、删除站点监控。提供简单的添加配置不再浪费资源和精力配置复杂的开源产品。支持站点异常告警不用担心网站出问题而无人知晓。告警功能告警功能提供对监控指标的告警功能用户对云服务的核心监控指标设置告警规则当监控指标触发用户设置的告警条件时支持以邮箱、短信、HTTP、HTTPS等方式通知用户让用户在第一时间得知云服务发生异常迅速处理故障避免因资源问题造成业务损失。[!tip]云监控服务使用消息通知服务向用户通知告警信息。首先用户需要在消息通知服务界面创建一个主题并为这个主题添加相关的订阅者然后在添加告警规则的时候用户需要开启消息通知服务并选择创建的主题这样在云服务发生异常时云监控服务可以实时的将告警信息以广播的方式通知这些订阅者。告警记录可以展示近30天所有告警规则的状态变化用户可以统一、方便地回溯和查看告警记录。应用场景 - xx业务平台监控业务为众包平台作为知识工作者共享平台利用互联网来将工作分配出去连接雇主和服务提供者核心数据库采用BMS集群方式部署数据库集群Web-Server与API-Server部署在ECS上Web-Server主要提供网站的搜索、类目、店铺、交易等业务API-Server为连接各业务与数据库的各个基础接口。BMS与ECS的运行状态对整体业务至关重要CPU、内存、磁盘使用率等会直接影响整体业务状态因此需使用主机监控和事件监控随时监控ECS与BMS的运行状况。网站与各个基础接口的可用性、响应时间、丢包率等会直接影响用户使用的流畅程度使用站点监控监控各站点的运行情况。VPC、NAT、ELB等提供基础的网络支持网络状态影响各个业务之间的连通性使用网络监控来随时监控各业务系统的运行状况。[!tip]众包平台作为知识工作者共享平台利用互联网来将工作分配出去连接雇主和服务提供者。众多服务商为企业、公共机构和个人提供定制化的解决方案将创意、智慧、技能转化为商业价值和社会价值。云日志服务LTS什么是云日志服务LTS云日志服务Log Tank Service简称LTS用于收集来自主机和云服务的日志数据通过海量日志数据的分析与处理可以将云服务和应用程序的可用性和性能最大化为用户提供一个实时、高效、安全的日志处理能力可快速高效地进行实时决策分析、设备运维管理、用户业务趋势分析等。[!tip]实时采集日志云日志服务提供实时日志采集功能采集日志后日志数据可以在云日志控制台以简单有序的方式展示、方便快捷的方式进行查询并且可以长期存储。采集到日志数据按照结构化和非结构化进行分析。结构化日志是通过规则将日志流中的日志进行处理提取出来有固定格式或者相似度高的日志内容做结构化的分类。这样就可以采用SQL的语法进行日志的查询。日志查询与实时分析对采集的日志数据可以通过关键字查询、模糊查询等方式简单快速地进行查询适用于日志实时数据分析、安全诊断与分析、运营与客服系统等例如云服务的访问量、点击量等通过日志数据分析可以输出详细的运营数据。日志监控与告警云日志服务结合应用运维管理Application Operations Management简称AOM支持对存储在云日志服务中的日志数据进行关键词统计通过在一定时间段内日志中关键字出现次数实时监控服务运行状态。日志转储主机和云服务的日志数据上报至云日志服务后默认存储时间为7天可以在1-30天之间进行设置。超出存储时间的日志数据将会被自动删除对于需要长期存储的日志数据日志持久化云日志服务提供转储功能可以将日志转储至对象存储服务OBS、数据接入服务DIS中长期保存。LTS的产品架构云日志服务可以采集主机和云服务的日志数据采集日志后日志数据可以在云日志控制台以简单有序的方式展示、方便快捷的方式进行查询并且可以长期存储。对采集的日志数据可以通过关键字查询、模糊查询等方式简单快速地进行查询适用于日志实时数据分析、安全诊断与分析、运营与客服系统等例如云服务的访问量、点击量等通过日志数据分析可以输出详细的运营数据。[!tip]通过安装Agent到弹性云服务器ECS中LTS服务就能够借助Agent来采集相关日志数据回传到日志服务中。结合日志服务的相关功能为用户提供优质的日志服务体验。全托管式华为云日志统一管理平台提供从采集、接入、存储、搜索、转储冷热分离、结构化处理、SQL查询和可视化分析一站式服务。海量日志管理PB级海量日志管理十亿级日志秒级搜索每天可支持200 TB日志接入亿级日志SQL聚合查询。安全可靠分权分域管理HTTP加密等安全技术保障数据可靠性SLA支持99.95%。高性价比相比传统日志管理系统省去人工运维。灵活应对业务高峰快速扩容按需计费无需预留额外资源。基本概念日志组LogGroup是云日志服务进行日志管理的基本单位可以创建日志流以及设置日志存储时间。日志流LogStream是日志读写的基本单位日志组中可以创建日志流方便对日志进一步分类管理。ICAgent是云日志服务的日志采集工具运行在需要采集日志的主机中。[!tip]日志组的创建类型分为用户创建主动和云服务创建被动云服务创建指华为云其他云服务与云日志服务进行系统对接后系统将自动在云日志服务控制台创建日志组和日志流云服务的运行日志将发送到对应的日志流中。日志读写以日志流为单位用户可以在写入时指定日志流将不同类型的日志分类存储Agent采集日志后将多条日志数据进行打包以日志流为单位发往云日志服务日志流的读写方式可以最大限度地减少读取与写入次数提高业务效率。例如用户可以将不同的日志操作日志、访问日志等写入不同的日志流查询日志时可以进入对应的日志流快速查看日志。Agent是云日志服务的日志采集工具运行在需要采集日志的主机中。首次使用云日志服务采集日志时需要安装Agent如果需要采集多台主机的日志还支持批量安装Agent在云日志服务控制台可以实时查看Agent的运行状态。日志接入云日志服务提供实时日志采集功能支持云服务、API/SDK接入等多种日志采集方式采集日志后日志数据可以在云日志控制台以简单有序的方式展示、方便快捷的方式进行查询。云服务接入云日志服务支持多个云服务日志接入可以选择不同云服务查看相应的日志接入方式。自建软件接入将主机待采集日志的路径配置到日志流中ICAgent将按照日志采集规则采集日志。API/SDK接入可以查看使用API/SDK/将日志接入云日志服务。其他即跨账号接入。通过创建委托将委托账号的日志流映射到被委托方账号即就是将委托账号的日志流映射到当前云日志服务账号的日志流下。日志查询[!tip]优点高性能数据库存储日志PB级存储、高吞吐量日志转储投递支持转储至OBS提供上下文关联分析能力。结构化分析日志日志结构化是以日志流为单位通过不同的日志提取方式将日志流中的日志进行结构化提取出有固定格式或者相似程度较高的日志过滤掉不相关的日志以便对结构化后的日志按照SQL语法进行查询与分析。可对任意格式提取字段只需简单UI操作可自动生成正则拆分规则。[!tip]日志数据可分为结构化数据和非结构化数据。结构化数据指能够用数字或统一的数据模型加以描述的数据具有严格的长度和格式。非结构化数据指不便于用数据库二维逻辑表来表现的数据数据结构不规则或不完整没有预定义的数据模型。日志可视化可视化提供对结构化后的日志字段进行SQL查询与分析的功能。对原始日志结构化后等待1~2分钟左右即可对结构化后的日志进行SQL查询与分析。[!tip]可视化提供对结构化后的日志字段进行SQL查询与分析。对原始日志结构化后等待1~2分钟左右即可对结构化后的日志进行SQL查询与分析。告警中心[!tip]LTS服务本身不支持告警配置需要配合应用运维管理简称AOM配置告警。日志转储主机和云服务的日志数据上报至云日志服务后默认存储时间为7天在创建日志组时可以对日志存储进行设置1-365天。超出存储时间的日志数据将会被自动删除。对于需要长期存储的日志数据云日志服务提供转储功能可以将日志转储至其他云服务中进行长期保存。[!tip]对象存储服务 OBS提供日志存储功能长期保存日志。数据接入服务DIS提供日志长期存储能力和丰富的大数据分析能力。DIS可以将大量日志文件传输到云端做备份进行离线分析、存储查询及机器学习还能用于数据丢失或异常后的恢复和故障分析。同时大量小文本文件可合并转储为大文件提高数据处理性能。转储至DMSDMS通过分布式消息服务API处理日志。应用场景 - 运维日志平台企业应用的运维日志分散在不同的虚机上包括应用运行日志、中间件日志等日志分散日志规模较大为企业日志提供集中管理平台。优势全托管式提供日志采集、存储、老化、搜索和转储海量日志管理支持每天百TB级日志的接入十亿级日志秒级搜索性价比高维护成本低按需计费轻松应对高峰日志流量[!tip]日志采集与分析主机和云服务的日志数据不方便查阅并且会定期清空云日志服务采集日志后日志数据可以在云日志控制台以简单有序的方式展示、方便快捷的方式进行查询并且可以长期存储。对采集的日志数据可以通过关键字查询、模糊查询等方式简单快速地进行查询适用于日志实时数据分析、安全诊断与分析、运营与客服系统等例如云服务的访问量、点击量等通过日志数据分析可以输出详细的运营数据。合理优化业务性能网站服务数据库、网络等的性能和服务质量是衡量用户满意度的关键指标通过用户的拥塞记录日志发现站点的性能瓶颈以提示站点管理者改进网站缓存策略、网络传输策略等合理优化业务性能。快速定位网络故障网络质量是业务稳定的基石将日志上报至云日志服务确保问题发生时能及时查看、定位问题助力用户快速定位网络故障进行网络回溯取证。例如快速定位问题根源的云服务器如带宽过度使用的云服务器。通过分析访问日志判断业务是否遭到了攻击、非法盗链和不良请求等及时定位并解决问题。云审计服务CTS什么是审计审计Auditing是对资料作出证据搜集及分析以评估企业财务状况然后就资料及一般公认准则之间的相关程度作出结论及报告并将审核结果传达予利害关系人。在ICT行业中审计主要涉及的是整个信息系统的生命周期。通过审计企业财务报表和实际运营情况以此来保证企业财务收支的真实、合法和效益最终达到保障企业运营健康促进企业长期发展的目的。在ICT行业中审计通常也是为了保障整个信息系统的健康运转。一般来讲对于机构、组织、企业进行审计主要就是对比以下两样东西[!tip]对业务上云的客户而言关于审计方面的合规认证内容通常分为两部分云服务商所负责的客户业务系统平台与资源的合规以及客户负责的自身业务系统的合规。一方面云审计服务是华为云自身合规性的组成部分之一其几乎覆盖所有服务、所有资源的操作记录能力以及审计日志在传输、存储、加密、容灾、防篡改等方面的安全能力是认证中针对业务系统平台与资源合规的核心保障。另一方面针对客户自身的业务系统的合规认证云审计服务将在认证过程中积极响应协助完成待满足项的解决方案设计和实现支撑客户通过认证。什么是云审计服务CTS云审计服务Cloud Trace Service简称CTS主要是提供云账户下资源的操作记录通过操作记录用户可以实现安全分析、资源变更、合规审计、问题定位等功能。可以通过配置OBS对象存储服务将操作记录实时同步保存至OBS以便保存更长时间的操作记录。[!tip]云审计服务的功能主要包括记录审计日志支持记录用户通过管理控制台或API接口发起的操作以及各服务内部自触发的操作。审计日志查询支持在管理控制台对7天内操作记录按照事件类型、事件来源、资源类型、筛选类型、操作用户和事件级别等多个维度进行组合查询。审计日志转储支持将审计日志周期性的转储至对象存储服务OBS桶中转储时会按照服务维度压缩审计日志为事件文件。事件文件加密支持在转储过程中使用数据加密服务DEW中的密钥对事件文件进行加密。CTS的优势传统审计云审计传统IT环境无法执行标准化审计流程系统性地实时记录操作类与API记录的审查如对服务器、数据库、操作系统等违规操作。且系统配置的变更需要IT人员手工统计。实时记录迅速收集操作事件资源变更完成后在管理控制台查阅。传统审计内容全靠人工手动记录并存储无多副本保存存在安全隐患且无法长期保存。整记录可记录管理控制台、开放API执行的操作以及系 统内部触发的操作。可靠低成本周期性的生成事件文件低成本的长久保存如转储到对象存储OBS。基本概念追踪器使用云审计服务前需要开通云审计服务开通云审计服务时系统会自动创建一个追踪器。该追踪器会自动识别并关联当前租户所使用的所有云服务并将当前租户的所有操作记录在该追踪器中。事件事件即云审计服务追踪并保存的云服务资源的操作日志。事件能够帮助我们了解到哪个用户在什么时间对系统的哪些资源做了什么操作。管理事件指云服务上报的事件。数据事件指OBS服务上报的读写操作事件。事件列表事件列表记录了租户对云服务资源新建、修改、删除等操作的详细信息包括管理类事件和数据类事件。管理事件管理类事件指云帐户中对云服务资源新建、配置、删除等操作的详细信息。数据事件数据类事件指针对数据的操作日志例如上传、下载等。[!tip]云审计服务管理控制台支持创建数据事件追踪器追踪器用于记录用户的数据操作日志。CTS仅记录7天内的操作事件用户需要创建追踪器来保存更长时间的事件否则将无法追溯7天前的操作事件。追踪器会将事件持续保存到用户指定的LTS日志流或者OBS桶中。安全分析云审计服务生成的每条事件均会记录哪个用户在什么时间从哪个IP发起了操作请求。通过执行安全性分析并检测用户行为模式和对关键类的操作配置消息通知用户可以更好地管控自己使用的云服务状况。[!tip]安全分析的工作原理登录用户开启云审计服务云审计服务会记录账号下所有操作日志被记录的操作日志会被保存在OBS桶中数据分析组件可以从桶中下载日志做分析最终得出的结果可以配置到消息通知服务上报。资源变更云审计服务生成的每条事件均会记录一次资源的变更以及变更的结果。用户可以根据这些记录统计和追溯资源的使用情况以便更好地管控自己的云服务资源。[!tip]资源变更的工作原理用户对云服务做出的所有变更类操作都已经被审计服务记录用户还可以通过配置关键类操作消息通知及时获取服务的最新情况账户下所有变更操作都将长久保存用户可以通过日志进行查询资源变更的详细信息。故障定位云审计服务生成的事件会记录失败操作的原因用户可以根据原因轻松排除操作性故障。例如扩容云主机配置时删除了系统卷导致最终创建失败。通过查看事件中记录的失败操作日志我们可以很直观地找到具体原因。[!tip]故障定位的工作原理用户在自己账号下进行了可能会导致相关故障的变更或误操作审计服务会将这些操作全部记录此时用户可以通过搜资源名称来查询影响的结果通过查询用户可以获取详细信息包括操作人具体时间等用户可以基于这些信息去纠正这个错误操作。合规审计云审计服务提供的操作记录、操作查询能力能够使用户更轻松地确保自身符合内部策略和监管标准以此来满足IT合规设计认证要求如金融云可信云等。应用场景 - 通过CTS进行资源监控通过CTS云审计服务完成对公有云帐户对各个云服务资源操作和结果的实时记录。通过在函数工作流服务中创建CTS触发器获取订阅的资源操作信息经由自定义函数对资源操作的信息进行分析和处理产生告警日志。SMN消息通知服务通过短信和邮件推送告警信息通知业务人员进行处理。案例通过CTS云审计服务快速完成日志分析对指定IP进行过滤。基于serverless无服务架构的函数计算提供数据加工、分析事件触发弹性伸缩无需运维按需付费。结合SMN消息通知服务提供日志、告警功能。