存储分布式文件系统缓存大数据【免费下载链接】alluxioAlluxio, data orchestration for analytics and machine learning in the cloud项目地址https://gitcode.com/gh_mirrors/al/alluxio点击查看免费下载本文是一份面向云原生数据工程师的实操指南围绕当前仓库中 docs/en/cloud/AWS-EMR.md 的核心流程完整讲解如何在 AWS EMR 集群上通过 bootstrap 脚本安装、配置并启动 Alluxio将其作为 S3、GCS、Azure Blob Store 甚至本地 HDFS 之上的数据编排层并演示用 Presto/Hive 基于 AWS Glue 元数据服务创建与查询表。阅读本文后你将掌握aws emr create-cluster的完整参数组合、alluxio-emr.sh引导脚本的全部选项语义以及集群内部验证与调优的具体方法。Overview为什么要在 EMR 上运行 AlluxioAWS EMRElastic MapReduce提供按需创建计算集群的能力用于承载各类分析工作负载并统一托管 Hadoop 生态多个服务的部署同时通过 bootstrap action 与配置分类classification向这些服务注入定制项。在 EMR 之上叠加 Alluxio 的价值在于在 EMRFS 已经提供的 S3 访问能力之上Alluxio 还能带来缓存带来的性能收益并且让计算负载可以同时访问本地机房存储或其他云厂商的对象存储如 GCS、Azure Blob Store实现真正的数据编排data orchestration。也就是说Alluxio 充当了 EMR 计算集群与异构底层存储之间的统一命名空间。该场景的落地依赖仓库中两个真实文件引导脚本 integration/emr/alluxio-emr.sh负责下载安装 Alluxio、注入配置、暴露 client jar 给 Spark/Presto/Hive/Tez/Hadoop并启动 Alluxio 集群配置模板 integration/emr/alluxio-emr.json通过 EMR 的 configurations 参数预先设置 Hive、Presto 连接 AWS Glue 元数据服务所需的分类配置。Prerequisites部署前需要准备的环境根据原文档开始之前需要具备以下条件一个具备 AWS 账户访问权限的账号带有默认 EMR 角色的 IAM 账户EMR 服务运行时所需的默认角色见下文 Basic Setup 中的create-default-roles用于 SSH 登录 EC2 实例的密钥对Key Pair一个 S3 Bucket它同时承担两个角色Alluxio 的根底层文件系统root UFS以及存放 bootstrap 脚本的位置配置好 AWS access key id 和 secret access key 的 AWS CLI。大多数前置条件都可以通过 AWS 官方 EMR Getting Started 文档完成。如果不想用 S3 作为根 UFS也可以将根 UFS 配置为 HDFS 或任何其他受支持的底层存储仓库脚本对hdfs://根路径有专门处理详见下文 Customization 的-v选项。关于机型选型原文档给出如下建议Alluxio Master推荐r5.4xlarge或r5.8xlargeAlluxio Worker推荐r5d.4xlarge或r5d.8xlarge这类机型自带 SSD可配合 bootstrap 脚本的-n参数将 NVMe 磁盘配置为 Alluxio 的存储层tier 0。Basic Setup从零拉起一个带 Alluxio 的 EMR 集群1. 创建 EMR 所需的默认 IAM 角色打开终端使用 AWS CLI 在账户中创建 EMR 服务所需的标准 IAM 角色$ aws emr create-default-roles该命令会创建 EMR 运行所依赖的默认服务角色与实例角色是后续create-cluster能够成功执行的前提。2. 使用 bootstrap action 执行 create-cluster 命令aws emr create-cluster需要传多个标志位才能成功执行各标志含义如下--release-label要安装的 EMR 版本。当前仓库对应的 Alluxio 版本为2.10.0-SNAPSHOT见仓库根 pom.xml 与 integration/emr/alluxio-emr.sh 中的ALLUXIO_VERSION原文档示例中与之配套的兼容 EMR 版本为emr-5.25.0。--instance-count为集群配置的节点数量。--instance-type节点实例类型。注意账户在每个 region 可启动的实例数量有限制需在 EC2 控制台检查实例配额适合起步的实例类型是r4.4xlarge。--applications指定NameSpark NamePresto NameHive引导安装这三个附加服务。--nameEMR 集群名称。--bootstrap-actionsPathbootstrap 脚本的 S3 路径需放在公开可读的 bucket 中形如s3://alluxio-public/emr/版本号/alluxio-emr.shArgs传给 bootstrap 脚本的参数其中第一个参数是必填的根 UFS URI。该 S3 URI 指定 Alluxio 文件系统的根挂载点格式为s3://bucket-name/mount-pointmount point 应是一个文件夹用-d标志指定公开可访问的 Alluxio 发行包 tarball 地址例如https://downloads.alluxio.io/downloads/files/版本号/alluxio-版本号-bin.tar.gz还可以通过-p传入以分隔符连接的多组keyvalue形式的 Alluxio 属性例如alluxio.user.file.writetype.defaultCACHE_THROUGH让 Alluxio 同步写入底层存储系统。关于写入类型的更多说明可参考 docs/en/overview/Architecture.md 中 Data Flow Write 一节。--configurations配置 JSON 文件的路径同样托管在公开可读的 S3 bucket如https://s3.amazonaws.com/alluxio-public/emr/版本号/alluxio-emr.json也可以先下载该 JSON 文件再提供本地路径如file:///path/to/alluxio-emr.json。仓库中对应的真实模板即 integration/emr/alluxio-emr.json。--ec2-attributesEC2 相关设置最重要的是用于连接集群的密钥对名称KeyName。下面是一份完整的示例命令格式针对bash解释器设计$ aws emr create-cluster \ --release-label emr-5.25.0 \ --instance-count 3 \ --instance-type r4.4xlarge \ --applications NameSpark NamePresto NameHive \ --name try-alluxio \ --bootstrap-actions \ Paths3://alluxio-public/emr/版本号/alluxio-emr.sh,\ Args[s3://myBucketName/mountPointFolder,\ -d,https://downloads.alluxio.io/downloads/files/版本号/alluxio-版本号-bin.tar.gz,\ -p,alluxio.user.block.size.bytes.default122M|alluxio.user.file.writetype.defaultCACHE_THROUGH,\ -s,|] \ --configurations https://alluxio-public.s3.amazonaws.com/emr/版本号/alluxio-emr.json \ --ec2-attributes KeyNamemyKeyPairName其中s3://myBucketName/mountPointFolder需要替换为你的 AWS 账户可读写的 S3 URImyKeyPairName需要替换为你自己的 EC2 密钥对名称。值得说明的是示例命令中没有指定安全组因此 EMR 会自动为集群创建安全组但该自动创建的安全组默认不允许入站 SSH详见下一步。3. SSH 登录 EMR 集群的 master 节点登录 EMR 控制台。当集群进入Waiting状态后点击集群详情获取Master public DNS如果可用或点击Hardware标签页查看 master 与 worker 的详细信息点击 master 实例组即可看到其公网 DNS使用前面create-cluster命令中提供的密钥对 SSH 登录 master 实例用户名使用hadoop$ ssh -i /path/to/keypair.pem hadoopmasterPublicDns需要注意如果此前没有在create-cluster中指定安全组EMR 自动创建的安全组不会配置入站 SSH 规则。为了让上述 SSH 命令可用需要在 EC2 控制台编辑ElasticMapReduce-master安全组为端口 22 添加入站规则来源设为0.0.0.0/0。4. 验证 Alluxio 是否正常运行进入 master 实例后运行以下命令执行一系列基本读写测试确认 Alluxio 能正常读写文件$ sudo runuser -l alluxio -c /opt/alluxio/bin/alluxio runTests这里的runTests命令在仓库中由 shell/src/main/java/alluxio/cli/TestRunner.java 实现它会基于BasicOperations等测试套件对不同文件路径组合、readType/writeType组合执行实际的文件读写与校验参见该文件runTests()与new BasicOperations(filePath, readType, writeType, fsContext, workerAddress)的调用是确认集群数据面健康的快捷手段。5. 集群初始化细节脚本到底做了什么使用该 bootstrap 脚本后默认行为如下Alluxio 默认安装在/opt/alluxio/Hive 和 Presto 已预先配置好连接 Alluxio集群默认使用 AWS Glue 作为 Presto 与 Hive 的元数据库这允许你在多次运行 Alluxio 集群之间保留表定义默认情况下Alluxio worker 会分配实例最大可用内存的三分之一。这些行为都可以在 integration/emr/alluxio-emr.sh 中找到源码级印证ALLUXIO_HOME/opt/alluxio第 18 行与emr_install_alluxio()的安装逻辑第 137-166 行对应“安装在 /opt/alluxio”get_default_mem_size()第 93-98 行以mem_div3计算系统内存的 1/3随后configure_alluxio_worker_storage_properties()第 322-342 行将其写入alluxio.worker.tieredstore.level0.dirs.quota对应“worker 分配 1/3 内存”脚本还自动生成了alluxio.master.journal.typeUFS、alluxio.master.mount.table.root.ufsroot_ufs_uri、alluxio.master.security.impersonation.hive/presto/yarn.users*、alluxio.security.authorization.permission.enabledfalse等一组通用属性见configure_alluxio_general_properties()第 348-368 行这些属性键均可在 core/common/src/main/java/alluxio/conf/PropertyKey.java 中找到定义如MASTER_JOURNAL_TYPE、MASTER_MOUNT_TABLE_ROOT_UFS、USER_FILE_WRITE_TYPE_DEFAULT等。此外脚本的expose_alluxio_client_jar()第 282-292 行会把alluxio-client.jar软链到 Spark、Presto、Tez、Hadoop 各自的 jar 目录这正是“Hive/Presto 已配置好连接 Alluxio”的底层机制而 integration/emr/alluxio-emr.json 则通过hive-site分类指定com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory通过presto-connector-hive分类指定hive.metastoreglue对应“默认使用 AWS Glue 作为元数据库”。Creating a Table在 Alluxio 上建表并用 Presto/Hive 查询使用 EMR Alluxio 最简单的实践路径是在 Alluxio 上创建一张表并用 Presto/Hive 查询它。整体流程如下。1. SSH 登录 master 节点从你的终端使用create-cluster命令中提供的密钥对 SSH 登录 master 实例$ ssh -i /path/to/keypair.pem hadoopmasterPublicDns注意我们以hadoop用户身份连接。后续所有命令都假设在实例内部执行。2. 在 Alluxio 中创建目录作为表的外部位置在 Alluxio 中创建/testTable目录并将hadoop用户设为目录属主。注意以下命令是以alluxio用户身份执行的$ sudo runuser -l alluxio -c /opt/alluxio/bin/alluxio fs mkdir /testTable $ sudo runuser -l alluxio -c /opt/alluxio/bin/alluxio fs chown hadoop:hadoop /testTable3. 在 AWS Glue 中创建新数据库打开 Hive CLI$ hive创建数据库然后可以在 Glue 控制台确认数据库已创建CREATE DATABASE glue;使用刚创建的数据库并定义一张表USE glue; create external table test1 (userid INT, age INT, gender CHAR(1), occupation STRING, zipcode STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY | LOCATION alluxio:///testTable;注意这里的关键设计表的LOCATION指向alluxio:///testTable即表数据实际落在 Alluxio 命名空间下底层对应之前配置的 S3 根 UFS。外部表external table意味着删除表不会删除 Alluxio 中的数据文件便于数据与元数据解耦。退出 Hive CLI$ exit;4. 创建 Presto 所需的 /tmp 目录与前面类似在 Alluxio 中创建/tmp目录并将其权限设为777$ sudo runuser -l alluxio -c /opt/alluxio/bin/alluxio fs mkdir /tmp $ sudo runuser -l alluxio -c /opt/alluxio/bin/alluxio fs chmod 777 /tmpPresto 执行中间结果会用到/tmp权限必须放开否则查询可能因无法写入临时目录而失败。5. 使用 Presto 与表交互打开 Presto CLI指定hive作为 catalog$ presto-cli --catalog hive使用之前创建的数据库并插入数据USE glue; INSERT INTO test1 VALUES (1, 24, F, Developer, 12345);用 SELECT 读回表中全部数据SELECT * FROM test1;如果一切配置正确你会看到插入的那行数据被成功读回。整个读写链路为Presto → Hive connectorAlluxio client→ Alluxio Worker缓存/内存层→ S3 根 UFS写入类型默认继承 bootstrap 脚本设置的ASYNC_THROUGH异步写穿在提升写入吞吐的同时保证数据最终持久化到底层存储。Customizationbootstrap 脚本与集群调优Alluxio 属性的调优可以在多个位置完成。根据需要对哪个服务调优EMR 提供了不同的修改服务设置/环境变量的途径。仓库脚本 integration/emr/alluxio-emr.sh 中print_help()函数第 410-496 行完整保留了脚本的用法说明这里原样整理如下。Bootstrap 脚本的完整用法Usage: alluxio-emr.sh root-ufs-uri [-b backup_uri] [-c] [-d alluxio_download_uri] [-f file_uri] [-i journal_backup_uri] [-l sync_list] [-n storage percentage] [-p delimited_properties] [-s delimiter] [-v hdfs_version] alluxio-emr.sh is a script which can be used to bootstrap an AWS EMR cluster with Alluxio. It can download and install Alluxio as well as add properties specified as arguments to the script. By default, if the environment this script executes in does not already contain an Alluxio install at ${ALLUXIO_HOME} then it will download, untar, and configure the environment at ${ALLUXIO_HOME}. If an install already exists at ${ALLUXIO_HOME}, nothing will be installed over it, even if -d is specified. If a different Alluxio version is desired, see the -d option.各参数语义如下表参数含义root-ufs-uri必填Alluxio 命名空间中根 UFS 的 URI。如果传入字符串LOCAL则使用 EMR 自带的 HDFS 根作为根 UFS。-b backup_uri一个s3://URIEMR 集群关闭时 Alluxio master 会向其写入备份。备份与上传必须在 60 秒内完成若超时可能上传不完整的 journal。该选项不推荐用于生产或关键业务场景这些场景依赖备份在宕机后恢复集群状态。脚本对应实现是register_backup_on_shutdown()第 109-131 行它会在 EMR 的 shutdown-actions 目录下注册alluxio-backup.sh先执行alluxio fsadmin backup --local再用aws s3 cp上传。-c只安装 alluxio client jars用于纯客户端接入场景。-d alluxio_download_uri指向 Alluxio tarball 的s3://或http(s)://URI。脚本会下载并解压 tarball若${ALLUXIO_HOME}处尚不存在安装则安装 Alluxio。对应实现见emr_install_alluxio()第 137-166 行。-f file_uri任意远程文件的s3://或http(s)://URI可多次指定。每个指定文件都会被下载并以同名存储到${ALLUXIO_HOME}/conf/。对应实现见download_user_files()第 262-279 行。-i journal_backup_uri之前某次 Alluxio journal 备份的s3://或http(s)://URI。若提供备份会被下载Alluxio 启动时 master 会读取并恢复该备份。脚本中通过alluxio-start.sh -a master -i backup传入第 708-717 行。-l sync_list包含分隔符连接的 Alluxio 路径列表。将为这些路径启用主动同步active syncUFS 元数据会周期性地与 Alluxio 命名空间同步。默认分隔符是分号;如需不同分隔符使用-s参数。脚本会逐个执行alluxio fs startSync第 727-732 行。-n storage percentage自动为 Alluxio worker 配置 NVMe 存储作为 tier 0而非 MEM。指定时脚本会尝试定位已挂载的 NVMe 存储位置并配置给 Alluxio。参数是一个 1 到 100 之间的整数表示每块磁盘分配给 Alluxio 的百分比。对应实现见configure_nvme()第 205-253 行它扫描挂载在/mnt*的 NVMe 设备并写入alluxio.worker.tieredstore.level0.aliasSSD、level0.dirs.path、level0.dirs.quota等属性。-p delimited_properties一个包含分隔符连接的属性集会被追加到${ALLUXIO_HOME}/conf/alluxio-site.properties文件。默认分隔符是分号;如需不同分隔符使用-s参数。对应实现见set_custom_alluxio_properties()第 298-316 行与set_alluxio_property()第 74-88 行后者会先检查属性是否已存在存在则sed替换不存在则追加。-s delimiter单个字符指定-p属性集与-l同步列表中使用的分隔符。-v hdfs_version用作根 UFS 的 HDFS 版本号。当根 UFS 是 HDFS 时必填脚本第 580-583 行会校验根为hdfs://且未提供-v时直接报错退出。Alluxio 服务三种配置注入方式对 Alluxio 服务的配置修改可以通过 bootstrap 脚本以几种不同方式完成-p标志允许传入一组分隔的 key-value 属性应用到所有 Alluxio 节点。适合临时覆盖少量属性-f标志 alluxio-site.properties通过-f传入一个名为alluxio-site.properties的自定义文件。bootstrap 会确保覆盖用户提供的配置同时保留未被覆盖的默认值。注意脚本在注入自定义属性前会先写入# BEGIN AUTO-GENERATED PROPERTIES/# END AUTO-GENERATED PROPERTIES标记块第 654-660 行自动生成属性与用户属性分区清晰便于排查安装旧版本bootstrap 还允许通过指定下载 URL仅支持 HTTP 或 S3安装旧版本的 Alluxio 2.0。如果没有通过-d指定且${ALLUXIO_HOME}不存在脚本会使用内置的ALLUXIO_DOWNLOAD_URL当前仓库版本为2.10.0-SNAPSHOT对应的下载地址。当根 UFS 为 HDFS 时脚本还会通过configure_alluxio_hdfs_root_mount()第 375-399 行额外设置alluxio.master.mount.table.root.option.alluxio.underfs.version并优先使用通过-f下载到${ALLUXIO_HOME}/conf/下的core-site.xml与hdfs-site.xml覆盖 EMR 默认的/etc/hadoop/conf配置。Alluxio client按服务区分属性注入位置通用的客户端侧属性也可以像上面那样通过 bootstrap 脚本编辑这主要面向原生客户端CLI。而对于 Presto/Hive 这类具体服务的属性修改应在 EMR JSON 配置文件的对应分类section中进行即core-site.xml或hive.catalog等分类。仓库的 integration/emr/alluxio-emr.json 就是这种做法的范例它通过hive-site、presto-connector-hive、hadoop-env三个分类分别注入 Glue metastore 工厂类、Presto 的 Glue/S3 文件系统设置以及将alluxio-client.jar前置到HADOOP_CLASSPATH。另外需要留意的是脚本对 Presto 的接入做了版本适配第 665-701 行对于 EMR 5.28/5.29PrestoDB 0.227-0.231会启用 Alluxio 自带的hive-alluxioconnector对于 EMR 5.30 或 6.xPrestoDB 0.232则直接复用 PrestoDB 内置的hive-hadoop2connector并在/etc/presto/conf/catalog/catalog_alluxio.properties中写入hive.metastorealluxio与hive.metastore.alluxio.master.addressmaster:19998让 Presto 直连 Alluxio master 的 19998 端口。小结与进一步阅读至此你已经走通了“创建 IAM 角色 →create-cluster携带 bootstrap action 与 configurations → SSH 验证 → Alluxio 上建表 → Presto/Hive 查询 → 按需调优”的完整链路。核心要点回顾根 UFS 是第一参数alluxio-emr.sh的第一个必填参数决定 Alluxio 命名空间的根挂载可为 S3 URI 或LOCAL回退到 EMR HDFSHDFS 根时需配合-v指定版本配置注入分三条路-p注入属性、-f注入alluxio-site.properties等配置文件、--configurations注入服务级分类配置默认即联通的生态脚本自动把 client jar 暴露给 Spark/Presto/Tez/HadoopEMR JSON 配置把 Hive/Presto 指向 AWS Glue 元数据服务集群起来后即可直接建表查询。想要深入理解文中涉及的机制可以在本仓库中继续阅读引导脚本完整实现integration/emr/alluxio-emr.shEMR 配置分类模板integration/emr/alluxio-emr.jsonrunTests测试运行器shell/src/main/java/alluxio/cli/TestRunner.java写入类型CACHE_THROUGH/ASYNC_THROUGH/MUST_CACHE语义docs/en/overview/Architecture.md相关配置键定义core/common/src/main/java/alluxio/conf/PropertyKey.java。前提说明本文示例命令中的 EMR 版本emr-5.25.0与 Alluxio 版本号来自当前仓库及原文档的快照实际使用时请以你所安装的 Alluxio 发行版配套的 EMR 版本和下载 URL 为准。赞分享存储分布式文件系统缓存大数据【免费下载链接】alluxioAlluxio, data orchestration for analytics and machine learning in the cloud项目地址https://gitcode.com/gh_mirrors/al/alluxio点击查看免费下载相关推荐Alluxio与Presto集成完整指南5步实现查询性能翻倍 Alluxio与Presto集成完整指南5步实现查询性能翻倍 Alluxio作为云原生数据编排平台与Presto分布式SQL查询引擎的深度集成能够显著存储分布式文件系统缓存大数据Alluxio与Spark/Presto集成加速结构化数据分析的最佳实践Alluxio与Spark/Presto集成加速结构化数据分析的最佳实践 引言数据湖分析的性能困境与解决方案 你是否正面临这些挑战Spark查询云存储时因存储分布式文件系统缓存大数据Presto Hive Connector 完全指南Hive 数仓数据接入、Metastore 缓存与 S3/Azure/Alluxio 集成实战Presto Hive Connector 完全指南Hive 数仓数据接入、Metastore 缓存与 S3/Azure/Alluxio 集成实战 导读 本文大数据数据库后端上一篇Flutter Wonderous App测试策略单元测试、Widget测试和集成测试完整方案下一篇【亲测免费】 《hoverboard-firmware-hack-FOC》开源项目常见问题解决方案创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考