新闻详情

新闻详情

首页 / 资讯中心 / 详情

Hadoop 3.1.4拿来即用包详解:从解压配置到集群部署避坑指南

发布时间:2026/11/18 22:49:34来源:尧图网络
Hadoop 3.1.4拿来即用包详解:从解压配置到集群部署避坑指南
简介这份预配置的Hadoop 3.1.4压缩包面向需要快速搭建大数据处理环境的中初级开发者与运维人员省去从零配置集群的繁琐环节。包内已形成一套可直接加载的HDFS、MapReduce与YARN协同环境HDFS提供跨节点的高容错分布式存储MapReduce将海量任务拆解为并行子任务YARN则统一调度资源并允许Spark、Flink等计算框架共用同一集群关键环境变量、核心配置项及通信参数均已调校妥当且针对常见端口做了适配。资源包整体约332.2MB内部文件总数与类型明细暂缺但不影响直接解压使用。已有532人浏览学习。相较手工从零搭建这份包能有效避开版本兼容和参数缺失等陷阱既适合新手快速观察Hadoop各组件协作方式也可作为日常开发测试、数据挖掘实验的快速启动平台让使用者把主要精力集中在业务逻辑与算法验证上。1. hadoop-3.1.4.tar.gz 拿来即用这个包到底解决了什么不少入门者第一次见到“hadoop-3.1.4.tar.gz 已经配置拿来即用”这个包时第一反应是怀疑真有解压就能跑的 Hadoop答案是有的前提是你要清楚它“已配置”的是什么。这类包一般把 Hadoop 3.1.4 的二进制目录和 conf 参数打成一份 tar.gz你解压后补一下 JAVA_HOME、source 一下环境变量就能把 NameNode、DataNode、ResourceManager 拉起来跑通伪分布式或者一个三节点小集群。它最合适的场景是课程设计、本地功能验证、想快速看 HDFS 读写和 YARN 作业以及第一次搭 Hadoop 总是被各种配置文件劝退的人。但它不是生产环境开箱即用的银弹包里参数是通用值后续必须按机器内存、磁盘和业务流量重新调。下面按“解压 → 配置 → 启动 → 排坑”的顺序把这类包拆开说清楚。2. 解压到启动让 hadoop-3.1.4.tar.gz 在 Linux 上跑起来的最小命令2.1 解压前先确认三件事JDK 版本、磁盘位置、系统架构别急着tar -zxvf。拿到一个“已经配置”的包先确认运行环境。Hadoop 3.1.4 对 JDK 的要求是 8 或者 11但生产里跑得最多的是 JDK 8。JDK 17 会碰上反射和模块化问题别拿新 JDK 去试省得后面莫名其妙抛异常。# 确认 JDK 8 可用 java -version javac -version # 确认磁盘空间HDFS 的数据目录最好留 30GB 以上余量 df -h /opt /data 2/dev/null # 确认系统架构x86_64 可以直接跑官方二进制 uname -mjava -version输出openjdk version 1.8.0_xxx才算达标。javac没装的话之后跑 MapReduce 示例会有麻烦因为部分例子需要编译。uname -m在绝大多数服务器上输出x86_64如果在 aarch64 机器上拿官方 tar.gz大概率会碰libhadoop.so的兼容问题那已经不是配置的问题了。磁盘位置建议选/opt或/data不要放/root。这类包解压后光 Hadoop 本体就有 700MB 到 1GB 的规模加上 HDFS 的 name/data 目录放/root既不方便管理也容易因为权限问题触发后续故障。2.2 解压与目录规划别把包瘫在一个裸目录里常见做法是把包解压到一个固定目录再用软链去掉版本号。这样以后换 3.1.5 或者 3.3.x只需要改软链环境变量不用动。# 创建统一目录避免解压文件散落 sudo mkdir -p /opt/hadoop # 解压到 /opt/hadoop sudo tar -zxvf hadoop-3.1.4.tar.gz -C /opt/hadoop # 进入目录确认包内是否自带 hadoop-3.1.4 顶层目录 cd /opt/hadoop ls -l # 做一个不带版本号的软链方便后续升级 sudo ln -s hadoop-3.1.4 hadoop ls -l /opt/hadooptar -zxvf的-C指定解压目标目录。解压后一定要看包内结构。标题里的包名是hadoop-3.1.4.tar.gz所以大概率解压出来就是hadoop-3.1.4目录。如果拿到的是解压后直接是bin、etc的包那说明打包时把顶层目录去掉了你就得自己建目录再放进去。软链的收益在升级时最明显解压新版本改软链重启服务回退也就是一条ln -sfn的命令。别小看这个习惯它能在你下一次版本升级时给你留后悔药。2.3 环境变量写入profile.d 比 /etc/profile 更好管理“已经配置”不代表你什么都不用做。这类包一般已经把hadoop-env.sh里的JAVA_HOME改好了但 shell 级的HADOOP_HOME还要你自己暴露给系统。这里是最容易“ubuntu 环境变量配置错误”的位置——写了没 source或者 source 完新开会话又失效。# 先检查包自带的 hadoop-env.sh 里 JAVA_HOME 是否已指向正确路径 sudo vi /opt/hadoop/hadoop-3.1.4/etc/hadoop/hadoop-env.sh # 然后写一个全局配置片段放在 profile.d 下 sudo tee /etc/profile.d/hadoop.sh /dev/null EOF export HADOOP_HOME/opt/hadoop/hadoop export HADOOP_INSTALL$HADOOP_HOME export HADOOP_CONF_DIR$HADOOP_HOME/etc/hadoop export PATH$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin export JAVA_HOME/usr/lib/jvm/java-1.8.0-openjdk-amd64 EOF # 让配置立即生效 source /etc/profile.d/hadoop.sh # 验证 hadoop versionHADOOP_CONF_DIR要特别留意。很多教程只配了HADOOP_HOME和PATH没有配HADOOP_CONF_DIR结果后面hdfs-site.xml改了但进程没读到你以为是文件错了其实是 shell 不知道去哪儿找配置。JAVA_HOME必须写实际路径不能用$(dirname $(readlink -f $(which java)))那种花活因为 Hadoop 的脚本在部分场景下不展开命令替换。改完profile.d后新开的 shell 自动生效不用每个人手动 source。如果你是在 IDEA 里跑 Hadoop 客户端这一步就不够用了还要在运行配置里手动加环境变量最后一张我会再讲。2.4 启动前快速自检端口、目录、workers 列表很多人解压完直接start-all.sh结果 NameNode 都没起来。启动前先做三件低成本检查看workers文件、看默认端口、看数据目录结构。# 确认 workers 文件3.x 没有 slaves 文件 cat $HADOOP_HOME/etc/hadoop/workers # 确认 core-site.xml 里的 fs.defaultFS grep -A1 fs.defaultFS $HADOOP_HOME/etc/hadoop/core-site.xml # 检查 HDFS 数据目录是否存在不存在就提前建好 ls -ld $HADOOP_HOME/tmp $HADOOP_HOME/dfs/name 2/dev/null || echo 目录尚未创建workers文件在 Hadoop 3.1.4 里叫workers不是老教程里的slaves。它决定start-dfs.sh会去哪些机器启动 DataNode。伪分布式里写localhost就行如果包已经配置成集群版文件里可能是几个主机名。看到hadoop01这种主机名你要先确认本机 hosts 里有对应解析否则脚本会卡在 ssh 连不上这是后面集群搭建最常见的拦路虎。3. 拆开配置目录core-site.xml、hdfs-site.xml、yarn-site.xml 到底改了哪几项3.1 “已经配置”的常见形态只改参数不改源码所谓“拿来即用”通常指包作者在解压后的etc/hadoop目录里做了一批配置改动而不是重新编译了大数据组件。你要理解这一点才不会在之后调整时把包当成黑匣子。这类包相对原生 tar.gz 的差异一般集中在三个地方补了JAVA_HOME、把默认的hadoop.tmp.dir从系统/tmp挪到了包内可持久化目录、把伪分布式的副本数和进程绑定地址写死。你需要做的是把这些参数过一遍确认它们和你的机器匹配而不是盲目信任。3.2 core-site.xmlfs.defaultFS 与 hadoop.tmp.dir 是命门core-site.xml是整个集群的总入口。你在这个包上改配置九成是从这里开始的。configuration property namefs.defaultFS/name valuehdfs://localhost:9000/value /property property namehadoop.tmp.dir/name value/opt/hadoop/hadoop/tmp/value /property /configurationfs.defaultFS决定了所有 HDFS 客户端连哪个 NameNode。伪分布式用hdfs://localhost:9000没问题一旦改成集群模式要把它换成主节点的 hostname例如hdfs://hadoop01:9000。这里有个很隐蔽的坑Web UI 端口在 Hadoop 3.x 是 9870但 RPC 端口默认是 9000很多新手把 9870 填进来客户端自然连不上。hadoop.tmp.dir是 NameNode 和 DataNode 默认数据目录的根。原生 tar.gz 经常把这个值留成/tmp/hadoop-${user}重启一次机器就可能丢数据。既然包已经配到了/opt/hadoop/hadoop/tmp你就要确认这个目录存在且属主正确。fs.defaultFS和hadoop.tmp.dir两个参数必须放在同一个文件里保证语义一致不要一个在 XML 里、一个被环境变量覆盖。3.3 hdfs-site.xml副本数、NameNode/DataNode 路径、权限这个文件在伪分布式和集群里的差异非常大。如果你拿到包后发现dfs.replication是 3但只有一台机器那这个包就不是给你单机实验用的。property namedfs.replication/name value1/value /property property namedfs.namenode.name.dir/name valuefile:///opt/hadoop/hadoop/dfs/name/value /property property namedfs.datanode.data.dir/name valuefile:///opt/hadoop/hadoop/dfs/data/value /property property namedfs.permissions.enabled/name valuefalse/value /property单机伪分布式必须把dfs.replication设为 1否则写入一个文件时 DataNode 会因为没有第二副本而一直处于Under replicated状态严重时块副本任务会不断重试。dfs.namenode.name.dir和dfs.datanode.data.dir建议分别指定不要共用同一个父目录否则后续格式化和清理数据时一个误删就把 NameNode 元数据和数据块一起带走了。dfs.permissions.enabled在实验环境设成 false 能省很多 file permission 的报错。但它不是让你上生产也关掉的生产环境开权限反而能遏制乱删目录的问题。判断一个包是不是“真·拿来即用”看这个参数的值就能略知一二如果它没关权限说明包作者至少考虑过安全边界。3.4 yarn-site.xml 与 mapred-site.xml资源、调度器、执行框架YARN 是 MapReduce 作业的调度中枢。Hadoop 3.1.4 里有两个经常被忽略的文件一个是yarn-site.xml一个是mapred-site.xml。mapred-site.xml默认不存在只有mapred-site.xml.template很多包忘了帮你复制导致作业尝试走 local 模式而不是 YARN。property nameyarn.nodemanager.aux-services/name valuemapreduce_shuffle/value /property property nameyarn.nodemanager.resource.memory-mb/name value4096/value /property property nameyarn.nodemanager.resource.cpu-vcores/name value2/value /propertyyarn.nodemanager.aux-services是重点中的重点。NodeManager 默认不知道要为 MapReduce 开 shuffle 辅助服务如果这里不是mapreduce_shuffle即使作业提交上去reduce 阶段也会一直卡在Shuffle转圈最后超时失败。mapreduce_shuffle这个名字不要记错多了下划线或者写成空格YARN 会直接拒绝启动 NodeManager。yarn.nodemanager.resource.memory-mb和cpu-vcores两个参数是包最容易“过度配置”的地方。在一台只有 8GB 内存的机器上如果包里面写的是 8192那么 Container 启动时 LM 会把内存算爆。我一般建议保守起步单机测试先给 2048~4096MB。你之后提交 WordCount 出问题时先看这两个数。mapred-site.xml里最重要的只有一项property namemapreduce.framework.name/name valueyarn/value /property这一项把 MapReduce 执行框架从 local 切到 YARN作业客户端才会把任务提交给 ResourceManager。此配置和yarn.nodemanager.aux-services是一对前者决定客户端提交到哪后者决定 NodeManager 能否为 shuffle 做准备。任何一个不对都会给出让人摸不着头脑的“任务一直 ACCEPTED”的假象。4. 从伪分布式到集群拉起 NameNode / DataNode / ResourceManager 并提交作业4.1 第一次启动前的格式化hdfs namenode -format 的边界拿到“已经配置”的包启动 HDFS 前要思考一下包在打包时是否已经格式化过。如果作者是打包了自己跑过的目录里面会带着dfs/name/current的元数据如果是从官网 tar.gz 直接改配置打的包那你必须自己格式化。第一次启动前执行一次格式化是安全做法但要明白它做了什么。# 如果确认是干净包执行格式化 hdfs namenode -format # 看到 successfully formatted 后检查目录 ls -l $HADOOP_HOME/dfs/name/current 2/dev/nullhdfs namenode -format会在dfs.namenode.name.dir下生成current/VERSION和edits之类的元数据文件。它会生成一个clusterID这个 ID 之后要被 DataNode 共享所以格式化不是你想跑就能反复跑的。DataNode 启动时如果发现dfs.datanode.data.dir里的 clusterID 和 NameNode 不一致就会拒绝注册报Incompatible clusterIDs后面第 5 章会专门讲。这里有个使用习惯格式化前先把dfs/data目录看一眼。如果包里有旧数据格式化后 DataNode 的旧数据和新 NameNode 元数据对不上你是保也保不住删也舍不得。我一般会先备份一份VERSION文件到包外心里有个底。4.2 启动 HDFS 与 YARNstart-dfs.sh、start-yarn.sh 的顺序不要一上来就用start-all.sh。分步启动能让你在进程拉起阶段就定位问题而不是等 5 个进程一起起、一起报错时再去翻日志。常见做法是start-dfs.sh先拉起 HDFS确认进程稳定再start-yarn.sh拉起计算层。# 启动 HDFS脚本会根据 workers 文件逐一 ssh 启动 DataNode $HADOOP_HOME/sbin/start-dfs.sh # 启动 YARN $HADOOP_HOME/sbin/start-yarn.shstart-dfs.sh会启动 NameNode、SecondaryNameNode 和 DataNode。脚本执行时会逐个 ssh 到workers文件里的主机名。如果你没配免密它会在中途停下来等密码这个最影响体验。建议先手动执行ssh localhost确认可以免密登录再执行脚本。启动过程还会在logs目录写出启动日志。如果某个进程没起来优先看对应日志而不是反复重启。比如hadoop-hadoop-datanode-hostname.log每次启动都会在文件末尾追加新内容直接tail -n 100找FATAL或ERROR。4.3 用 jps 和 Web UI 确认进程都在进程启动成功不等于“拿来即用”。你要看到真正的进程列表和端口监听状态才算数。# 查看所有 Java 进程 jps # 通过 netstat 确认关键端口监听 netstat -tlnp | grep -E 9000|9870|8088伪分布式下jps应该看到 5 个进程NameNode、DataNode、SecondaryNameNode、ResourceManager、NodeManager。如果少了SecondaryNameNode通常是hdfs-site.xml忘了配置dfs.namenode.secondary.http-address这在单机实验里不影响但会让人心里不踏实。Web UI 方面HDFS 的 NameNode 页面在http://localhost:9870YARN 的 ResourceManager 页面在http://localhost:8088。这里特别提醒网上大量教程还停留在 Hadoop 2.x 时代的50070端口你在 3.1.4 上访问 50070 只会得到 connection refused。这也是很多“拿到即用包却总觉得没起来”的人最容易翻车的盲区。4.4 提交第一个 WordCount验证“拿来即用”的最后一个动作配置、进程都正常最后用 Hadoop 自带的 MapReduce 示例作业做一次端到端验证。这一步通过才真正证明包的“已配置”是靠谱的。# 创建输入目录放一个测试文件 hdfs dfs -mkdir -p /user/root/input hdfs dfs -put /etc/hosts /user/root/input/ # 提交自带的 wordcount 作业 hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.4.jar wordcount /user/root/input /user/root/output # 查看结果 hdfs dfs -cat /user/root/output/part-r-00000hadoop jar命令会从本机读取输入路径把作业提交到 ResourceManager。这里正好看一眼 Hadoop 作业提交到 YARN 的流程客户端先和 NameNode 确认输入文件块位置再把 job 配置和切片信息提交给 ResourceManagerRM 在某个 NodeManager 上启动一个 ApplicationMasterAM 再向 RM 申请容器给 map/reduce task 使用最终结果写到输出目录。注意/user/root/output这个输出目录不能预先存在否则 MapReduce 会直接报FileAlreadyExistsException。这是框架的自我保护也是新手最稀里糊涂的报错之一。跑完再去看 YARN 的 8088 页面能看到一个SUCCEEDED的 application 记录。4.5 从伪分布式改集群workers、免密、副本数的三处改动如果拿这个包去搭一个 3 节点 Hadoop 集群你不需要重新配置所有 XML只需要动三个地方。# 主节点修改 workers 文件把 localhost 换成从节点 hostname cat $HADOOP_HOME/etc/hadoop/workers EOF hadoop01 hadoop02 hadoop03 EOF # 统一 hosts 解析 sudo tee -a /etc/hosts EOF 192.168.1.10 hadoop01 192.168.1.11 hadoop02 192.168.1.12 hadoop03 EOF # 生成并分发 ssh 密钥 ssh-keygen -t rsa -b 4096 -N ssh-copy-id hadoop01 ssh-copy-id hadoop02 ssh-copy-id hadoop03配置完这三个点还要把core-site.xml中的fs.defaultFS从hdfs://localhost:9000改成hdfs://hadoop01:9000把hdfs-site.xml的dfs.replication从 1 改 2 或 3。从节点只需要把整个包同步过去不需要重复改配置因为workers和xml在主节点统一维护。一个常见的错误是改了fs.defaultFS但忘了改dfs.namenode.name.dir所在机器的 hostname导致 DataNode 一直尝试连接 localhost 的 9000 端口。集群搭建不能只看 XML还要看主机名、IP 和 ssh 免密三者的联动关系。5. 避坑手册hadoop-3.1.4.tar.gz 拿来即用的 5 个典型故障5.1 命令找不到环境变量在 profile.d 里却每次要手动 source现象hadoop version显示 command not found手动source /etc/profile.d/hadoop.sh后又恢复重启 shell 又挂。原因profile.d里的脚本只在登录 shell 时加载如果你的 shell 不是通过登录会话打开的或者用的是su切换用户环境变量不会自动带过来。另一个原因是JAVA_HOME写死了不存在路径Hadoop 的hadoop脚本在启动第一步就会失败。解决先检查echo $HADOOP_HOME是否为空。空就说明 shell 没加载。在.bashrc里补一行source /etc/profile.d/hadoop.sh作为兜底或者干脆在.bashrc里直接写HADOOP_HOME。路径必须实际存在用ls -ld $JAVA_HOME验证。5.2 NameNode 格式化时目录重复或权限不够现象执行hdfs namenode -format时输出Cannot create directory /opt/hadoop/hadoop/dfs/name或者提示NameNode is not formatted。原因包里的hadoop.tmp.dir指向/opt/hadoop/hadoop/tmp下的目录但当前用户对这个目录没有写权限。更隐蔽的是dfs.namenode.name.dir如果写的是相对路径格式化时会把它解析到当前工作目录下你换一个目录执行命令就会得到不同的路径。解决格式化前手动建目录并指定属主不要用 root 跑 HDFS。常见做法是建一个hadoop用户把/opt/hadoop归它所有然后切到该用户再执行所有命令。sudo mkdir -p /opt/hadoop/hadoop/dfs/name sudo chown -R hadoop:hadoop /opt/hadoop su - hadoop hdfs namenode -format5.3 DataNode 起不来报 Incompatible clusterIDs现象start-dfs.sh后jps看不到 DataNode日志里出现Incompatible clusterIDs in /opt/hadoop/hadoop/dfs/data: namenode clusterID xxx, datanode clusterID yyy。原因这个包如果用之前被人格式化过NameNode 的clusterID已经变了或者你自己格式化过多次而 DataNode 数据目录还是旧 ID。DataNode 启动时会比对自身目录里的 clusterID 和 NameNode 下发的 clusterID不匹配就拒绝启动。解决确认该 DataNode 上没有需要保留的数据后把dfs.datanode.data.dir下的current目录删掉或者整体清空dfs/data再重新启动 DataNode。注意不要反过来迁就 DataNode 去改 NameNode 的 VERSION 文件——那是篡改元数据风险极大。# 在 DataNode 节点上执行 rm -rf /opt/hadoop/hadoop/dfs/data/current $HADOOP_HOME/sbin/hadoop-daemon.sh start datanode5.4 YARN 容器内存超限导致任务秒挂现象WordCount 提交后Application 状态一直是ACCEPTED过一会儿变成FAILED日志里写Container launched ... exceeds physical memory limit或者was killed。原因yarn.nodemanager.resource.memory-mb设成了 8192而 NodeManager 所在机器实际可用内存只有 4GBYARN 分配的容器一启动就被操作系统杀掉。或者你改了yarn-site.xml但没重启 NodeManager新配置没有生效。解决用free -h看实际内存把yarn.nodemanager.resource.memory-mb调到物理内存的一半左右比如 4096。同时确认mapreduce.map.memory.mb和mapreduce.reduce.memory.mb默认值不超过这个总数。改完配置以后必须重启 YARN 进程因为 NodeManager 只在启动时读取资源参数。# 重启 YARN让资源参数生效 $HADOOP_HOME/sbin/stop-yarn.sh $HADOOP_HOME/sbin/start-yarn.sh5.5 成功启动却提交不了作业localhost 免密与 hosts 解析现象进程全起来了jps正常但提交 WordCount 停在Setting up job monitors然后报Connection refused或者start-dfs.sh卡在ssh: connect to host localhost port 22: Connection refused。原因伪分布式虽然只有一台机器但 start 脚本依然要 ssh 到 workers 里的主机名。如果localhost没有 sshd 服务或者没有做免密脚本就无法远程拉起 DataNode/NodeManager。另一种情况是 workers 文件里写了hadoop01但/etc/hosts没有把hadoop01解析到 127.0.0.1 或本机 IP。解决先确认 sshd 是否启动再做免密。# 确认 ssh 服务 sudo systemctl status sshd # 生成密钥并复制到 localhost ssh-keygen -t rsa -b 4096 -N ssh-copy-id localhost # 验证免密 ssh localhost echo ok如果是集群模式把localhost替换成每个节点主机名逐台执行ssh-copy-id。这一步在 ubuntu 伪分布式搭建里几乎人人都要踩一遍属于“配置没问题但没查通信链路”的典型翻车。6. 把拿来即用包变成你自己的基座二次配置、升级与开发环境拿到能跑的包只是起点真正要用起来我建议先做两件事备份原始配置然后建立一套自己的配置基线。备份命令很简单把etc/hadoop整体复制成conf-backup-3.1.4。之后每一轮改动都记录到改动清单里这样下次机器重启你有据可查不用对着一个“能跑但不知道凭什么能跑”的包干瞪眼。进阶方向通常是三类。第一类是把包作为开发环境底座在 Windows 上用 IDEA 搭 Hadoop 开发环境时把解压后的 Hadoop 目录指到本机Windows 需要额外准备 winutils.exe 和 hadoop.dlltar.gz 本身不负责解决这些问题。第二类是接其他组件比如把 Tez 装进来替换 MapReduce 执行引擎核心还是回到yarn-site.xml和mapred-site.xml的衔接Tez 定制的 shuffle handler 必须和 NodeManager 的aux-services配对否则容器频繁重启。第三类是搞 HA这时才需要引入 ZooKeeper和当前这个单节点“拿来即用”包的配置模型相差较远建议单独拿一套集群验证不要在伪分布式包上硬加 ZK。我自己的习惯是拿到任何打包好的项目先跑通最小验证再备份再做改动。每次调完参数都用“启动进程 WordCount 看日志”三步走验收而不是只靠进程列表判断。这个包能不能成为你的长期基座不取决于它初始有多么“拿来即用”而取决于你能否从第一次配置开始持续维护自己的参数记录。希望帮到你。本文还有配套的精品资源点击获取
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

【外设】之大彩串口显示屏 2026/11/18 21:21:17

【外设】之大彩串口显示屏

大彩串口屏初步使用 1 .官网下载 STM32 屏幕 GUI 设计资料 http://www.gz-dc.com/category/typeid/4112 找到 STM32 Keil 工程,移植相关代码因项目而异进行移植,由于项目简单,本人只对用到的指令接口进行修改。 比如:注意事项&…

阅读更多 →
无法下载Windows系统iso文件 2026/11/18 14:20:46

无法下载Windows系统iso文件

当我遇到这个问题的时候,我打开了一个网站: 登录 然后我打算下载的时候: 突然那个官方的连接就可以下载了:

阅读更多 →
【清华代码熊】DeepSeek V4.1 Flash 后训练详解 2026/11/18 20:01:42

【清华代码熊】DeepSeek V4.1 Flash 后训练详解

📌 上期解析了 DeepSeek V4.1 Flash 模型架构改进,本期解析 DeepSeek V4.1 Flash 预训练/后训练技术: 🌟 预训练:45T 文本 多模态混合语料、直接训练 sparse attention(取消 DeepSeek V4 的 dense 冷启动&…

阅读更多 →
Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ... 2026/11/18 11:04:06

Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ...

文章主要内容和创新点 主要内容 本文聚焦于多模态大语言模型(MLLM)强化学习(RL)训练中的效率问题,提出了一个名为Shuffle-R1的框架。研究发现,当前RL训练存在两个关键缺陷: 优势值坍缩(Advantage Collapsing):批次中大多数优势值集中在零附近,导致有效梯度信号被淹…

阅读更多 →
PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction 2026/11/18 15:55:22

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

一、文章主要内容总结 本文聚焦于利用大型语言模型(LLMs)实现个人身份信息(PII)脱敏的研究,旨在解决传统脱敏方法(如基于规则的系统、领域特定命名实体识别(NER)模型)泛化能力差、跨格式/跨语境适应性弱的问题。 研究通过全面评估多种LLM架构(包括密集型LLM(D-LLM…

阅读更多 →
LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model 2026/11/18 21:21:16

LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model

文章主要内容和创新点 主要内容 本文聚焦于二进制图像-文本相关性评估任务(判断图像与文本“相关”或“不相关”),针对该任务中文本格式多样、相关性定义随场景变化等挑战,提出了基于多模态大语言模型(MLLM)的解决方案LLaVA-RE。 模型设计:LLaVA-RE基于LLaVA 1.5架构,…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉