新闻详情

新闻详情

首页 / 资讯中心 / 详情

Datawhale组队学习-深度学习笔记(一)

发布时间:2026/11/17 12:07:43来源:尧图网络
Datawhale组队学习-深度学习笔记(一)
文章目录第 1 章 神经网络简介第 2 章 PyTorch 入门总结第 1 章 神经网络简介神经网络的学习并不是灌输规则也不是理解概念而是通过反复调整参数让函数逐步逼近我们期望的映射关系。具体来说神经网络的学习过程可以分为 5 个步骤初始化参数训练开始前给参数θ \thetaθ赋予一组随机值此时模型的输出是粗糙、甚至无意义的模型预测将输入x xx输入模型根据当前的参数得到输出y yy计算偏差对比模型输出y yy和真实目标值判断模型做得好不好这一步会用到后续要学的损失函数调整参数根据偏差的大小和方向调整参数θ \thetaθ的取值让模型的输出更接近目标重复迭代重复步骤 2-4直到模型的输出足够准确参数不再需要大幅调整。 那神经网络真正学到的是什么一组最优的参数配置以及由这组参数所决定的函数行为。神经网络的学习本质上是在参数空间中寻找一组更好的参数使损失函数不断下降。回归任务的目标通常是预测一个连续数值。比如根据历史气温预测明天气温对于这类问题一个常见的损失函数是均方误差Mean Squared Error, MSE。计算每一个样本预测误差的平方然后取平均。预测越准确MSE 就越小。神经网络训练基本流程前向传播负责用当前参数产生预测损失函数负责衡量当前预测有多差反向传播负责计算每个参数对应的梯度优化算法负责根据梯度真正修改参数。最基本的参数更新方法就是梯度下降Gradient Descent![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/339fa00b2a4b44bebc0938bc334ea8d8.p其中η \etaη是学习率learning rate。梯度指向局部上升最快的方向因此负梯度指向局部下降最快的方向。第 2 章 PyTorch 入门前向传播负责计算数值同时记录依赖关系梯度要等到反向传播时才会真正出现。x.grad和y.grad此时都是None而不是0。这是因为梯度是一种反向回溯的产物只有当你明确发起回溯比如调用backward()时PyTorch 才会沿着刚才记录的依赖关系把梯度算出来并写回到叶子节点上。如果不调用PyTorch 就不会去计算梯度。requires_grad是张量的属性表示这个张量是否有资格被 Autograd 追踪no_grad()是上下文状态表示当前这段计算是否需要被记录。no_grad()只是暂时关闭记录离开这个代码块之后梯度记录会恢复。如果需要重新加入自动微分系统的话可以在之后设置requires_gradTrueenable_grad()局部恢复梯度记录inference_mode()纯推理不要再为反向传播保留任何可能性。虽然x.requires_gradTrue但y的计算发生在torch.no_grad()上下文中因此这次计算不会被 Autograd 记录得到的y也不会继续跟踪梯度。因为训练阶段需要反向传播计算模型参数的梯度因此前向计算需要记录相应的计算图而验证和推理阶段通常只需要得到模型的前向计算结果并不会进行反向传播或更新参数因此可以关闭梯度记录。这样可以避免保存反向传播所需的中间信息减少额外的内存占用和计算开销。第一个在no_grad里所以是False第二个在enable_grad里面所以是True。Dataset 负责定义一个样本长什么样以及如何取出一个样本。如果只是普通张量数据用TensorDataset就够了。但是一旦数据稍微复杂一点比如图片分类数据集或者文本分类数据集我们就需要自己写一个 Dataset在__getitem__()里实现读取文件、做预处理、返回标签的逻辑。-no_grad()是上下文状态表示当前这段计算是否需要被记录。no_grad()只是暂时关闭记录离开这个代码块之后梯度记录会恢复。如果需要重新加入自动微分系统的话可以在之后设置requires_gradTrueenable_grad()局部恢复梯度记录inference_mode()纯推理不要再为反向传播保留任何可能性。虽然x.requires_gradTrue但y的计算发生在torch.no_grad()上下文中因此这次计算不会被 Autograd 记录得到的y也不会继续跟踪梯度。因为训练阶段需要反向传播计算模型参数的梯度因此前向计算需要记录相应的计算图而验证和推理阶段通常只需要得到模型的前向计算结果并不会进行反向传播或更新参数因此可以关闭梯度记录。这样可以避免保存反向传播所需的中间信息减少额外的内存占用和计算开销。第一个在no_grad里所以是False第二个在enable_grad里面所以是True。classSimpleTensorDataset(utils.Dataset):Simple dataset that wraps training data and targets.def__init__(self,X:Tensor,y:Tensor):ifX.size(0)!y.size(0):raiseAssertionError(X and y must have the same length.)self.XX self.yydef__len__(self)-int:returnlen(self.X)def__getitem__(self,idx:int)-tuple[Tensor,Tensor]:Xself.X[idx]yself.y[idx]returnX,yDataLoader 负责把很多样本组织成 mini-batch并处理打乱、多进程加载、拼接 batch、pin memory 等训练时常见细节。dataloaderutils.DataLoader(dataset,batch_size32,shuffleTrue,)X,ynext(iter(dataloader))print(Input batch shape:,X.shape)print(Target batch shape:,y.shape)从 Dataset 中取出若干个样本由 batch_size 指定把这些样本拼成一个 batch如果 shuffleTrue每个 epoch 会打乱样本顺序返回可以直接用于模型训练的张量。Dataset: index - sampleDataLoader: samples - batch如果每个样本的形状不一样默认拼接就会失败。最常见的例子是自然语言处理中的变长序列需要自定义 collate_fn把这些样本整理成模型可以接收的 batch。例如我们可以把变长序列填充到当前 batch 中的最大长度在实际任务中collate_fn 很常用。比如文本任务中对变长句子做 padding目标检测中每张图的目标框数量不同不能简单 stack多模态任务中把图像、文本、mask、metadata 组织成字典对一个 batch 内的数据做额外整理。num_workers让 DataLoader 启动多个子进程来提前加载数据。num_workers0所有数据加载都发生在主进程里num_workers 0PyTorch 会启动多个 worker 进程它们负责提前从 dataset 里取样本、执行 collate_fn并把准备好的 batch 放到队列里。主进程训练时就可以从队列中取已经准备好的 batch这样数据加载和模型计算可以重叠persistent_workers控制这些子进程要不要跨 epoch 保留下来。总结本文从神经网络的基本原理出发梳理了其学习过程的 5 个核心步骤初始化参数、模型预测、计算偏差、调整参数与重复迭代。神经网络学习的本质是在参数空间中不断寻找一组更优的参数使损失函数持续下降而前向传播、损失函数、反向传播与优化算法四者共同构成了训练的基本流程。随后我们进入 PyTorch 的实践环节重点理解了 Autograd 自动微分机制requires_grad决定张量是否被追踪no_grad()与enable_grad()控制梯度记录的开关inference_mode()则用于纯推理场景。在数据加载方面Dataset负责定义样本的读取方式DataLoader负责将样本组织成 mini-batch并通过collate_fn处理变长序列等复杂情况num_workers与persistent_workers则进一步优化了数据加载的效率。掌握这些基础概念后具备了搭建并训练一个简单神经网络模型的能力。下一步可以尝试用 PyTorch 实现一个完整的分类任务在实践中加深对自动微分与数据流水线的理解。
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

【外设】之大彩串口显示屏 2026/11/17 7:04:08

【外设】之大彩串口显示屏

大彩串口屏初步使用 1 .官网下载 STM32 屏幕 GUI 设计资料 http://www.gz-dc.com/category/typeid/4112 找到 STM32 Keil 工程,移植相关代码因项目而异进行移植,由于项目简单,本人只对用到的指令接口进行修改。 比如:注意事项&…

阅读更多 →
无法下载Windows系统iso文件 2026/11/17 5:42:44

无法下载Windows系统iso文件

当我遇到这个问题的时候,我打开了一个网站: 登录 然后我打算下载的时候: 突然那个官方的连接就可以下载了:

阅读更多 →
【清华代码熊】DeepSeek V4.1 Flash 后训练详解 2026/11/16 19:23:38

【清华代码熊】DeepSeek V4.1 Flash 后训练详解

📌 上期解析了 DeepSeek V4.1 Flash 模型架构改进,本期解析 DeepSeek V4.1 Flash 预训练/后训练技术: 🌟 预训练:45T 文本 多模态混合语料、直接训练 sparse attention(取消 DeepSeek V4 的 dense 冷启动&…

阅读更多 →
Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ... 2026/11/17 6:55:04

Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ...

文章主要内容和创新点 主要内容 本文聚焦于多模态大语言模型(MLLM)强化学习(RL)训练中的效率问题,提出了一个名为Shuffle-R1的框架。研究发现,当前RL训练存在两个关键缺陷: 优势值坍缩(Advantage Collapsing):批次中大多数优势值集中在零附近,导致有效梯度信号被淹…

阅读更多 →
PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction 2026/11/17 5:57:47

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

一、文章主要内容总结 本文聚焦于利用大型语言模型(LLMs)实现个人身份信息(PII)脱敏的研究,旨在解决传统脱敏方法(如基于规则的系统、领域特定命名实体识别(NER)模型)泛化能力差、跨格式/跨语境适应性弱的问题。 研究通过全面评估多种LLM架构(包括密集型LLM(D-LLM…

阅读更多 →
LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model 2026/11/16 17:28:18

LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model

文章主要内容和创新点 主要内容 本文聚焦于二进制图像-文本相关性评估任务(判断图像与文本“相关”或“不相关”),针对该任务中文本格式多样、相关性定义随场景变化等挑战,提出了基于多模态大语言模型(MLLM)的解决方案LLaVA-RE。 模型设计:LLaVA-RE基于LLaVA 1.5架构,…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉