从梯度到大模型（007）：讲透 Dataset 与 DataLoader，让模型按批次学习课程：《从梯度到大模型：LLM 系统实践课》预计用时：90～120分钟，可分两次学习前置知识：Tensor形状、MSE、自动求导、梯度清零与参数更新环境：Python、PyTorch；CPU即可，无需下载数据集本课学习结束后，你应该能回答：一条样本怎么取出来？几条样本怎样合成一批？一轮训练到底更新几次参数？为什么打乱数据还能保证特征与标签对应？一、第6课作业答案与解析先核对上一课。下面表格由梯度下降公式用Python标量计算得到，保留6位小数；不是本机PyTorch运行日志。浮点精度会导致末尾数字略有差异。作业1：多项式求导原式是y=2x²+5x-1，x=3：y = 2×9 + 5×3 - 1 = 32 dy/dx = 4x + 5 x=3时，dy/dx = 172x²的系数2要保留，5x的导数是5，常数-1的导数是0。importtorch x=torch.tensor(3.0,requires_grad=True)y=2*x**2+5*x-1y.backward()print(y.item())# 预期32print(x.grad.item())# 预期17print(x.item())# 仍为3；backward没有更新x函数值、导数和更新后的参数是三个不同结果。作业2：梯度累积x³的导数是3x²；x=2时为12。x=torch.tensor(2.0,requires_grad=True)(x**3).backward()print(x.grad)# 12(x**3).backward()# 重新做前向计算，但使用同一个xprint(x.grad)# 24x.grad=None(x**3).backward()print(x.grad)# 12第二次得到24，是两个12累积在同一个叶子Tensor的.grad中。清梯度不修改x。作业3：线性回归的一次反向传播使用X=[1,2,3]、target=[3,5,7]，w=1、b=0：prediction = [1, 2, 3] error = [-2, -3, -4] MSE = (4+9+16)/3 = 29/3 ≈ 9.6667 dw = (2/3)×[1×(-2)+2×(-3)+3×(-4)] = -40/3 db = (2/3)×(-2-3-4) = -6因此w.grad约为-13.3333，b.grad为-6。读取梯度后，还需要显式更新参数。作业4：删除清梯度会怎样为避免初始条件混淆，这里沿用第6课完整训练程序：w=0、b=0，学习率0.05，每轮使用三条数据。以下列出每轮实际用于更新的梯度：更新轮次（从0开始）清零后的dw清零后的db不清零的累计dw不清零的累计db0-22.666667-10.000000-22.666667-10.0000001-10.088889-4.466667-32.755556-14.4666672-4.487407-2.002222-24.665185-10.9355563-1.992840-0.904519-2.877284-1.3778524-0.881944-0.41549920.5289208.893094第二轮起两条训练路径不同。不清零时，用于更新的是旧梯度与当前梯度的和；这些旧梯度是在旧参数位置计算的。累计值不一定一直变大，也可能相互抵消或改变符号。因此不能靠“梯度大不大”判断是否忘了清零，要检查代码顺序。这也不同于有意的梯度累积：有意累积通常在若干小批次之间暂不更新参数，并正确缩放Loss，然后统一更新。作业5：比较三个学习率仍从w=0、b=0开始，正常清零；下表是每次更新前的全量MSE：轮次lr=0.001lr=0.05lr=0.5027.66666727.66666727.666667127.0562935.488519571.851852226.4593861.08969311820.378601325.8756490.217207244331.822588425.3047900.0441335050434.137885在这组数据下，0.001下降较慢，0.05下降较快，0.5导致发散。这个结论与数据范围和Loss有关，不能把0.05当作所有任务的通用学习率。作业6：训练结束后的预测withtorch.no_grad():prediction=torch.tensor([[4.0]])@ w+bprint(prediction.item())若学到w≈2、b≈1，预测应接近9。实际输出取决于训练是否收敛。推理只需要输出预测值，关闭梯度记录可减少额外开销。no_grad()不会清除已有.grad，也不会永久取消参数的requires_grad。二、真实问题：数据很多时，模型如何读取上一课三条数据一次进入模型：prediction=X @ w+b假设以后有十万条软件任务，每条都有多个特征。把所有数据一次送入模型可能需要较多内存，更新一次也可能耗时较长。我们可以每次取一小批，计算Loss和梯度，然后更新参数。本课继续使用工时预测，但先构造10条简单数据：工作量x12345678910工时y3579111315171921这些数字人为满足y=2x+1，只用于看清数据流程。它们不能代表真实项目的工时规律。我们需要解决两件事：Dataset：给定索引，返回这一条样本的特征和标签。DataLoader：选择样本顺序，将若干条样本组合成一批供训练使用。PyTorch官方数据教程介绍了这两个接口的分工。三、先认识sample、batch、epoch和step名称本课含义例子sample一条任务及其工时标签x=2，y=5batch一次送入模型的一组样本3条任务batch_size希望每批取多少条3epoch将训练集遍历一轮10条按批次依次被取出step本课一次参数更新每处理一批更新一次本课每批执行一次更新，没有梯度累积。其他训练方案中，数据批次次数和参数更新次数可能不一致。10条样本、batch_size=3、不丢最后一批：第1批：样本0、1、2 3条 第2批：样本3、4、5 3条 第3批：样本6、7、8 3条 第4批：样本9 1条完整经过这四批才是一个epoch。按本课更新规则，这一轮更新4次参数。四、先用TensorDataset理解数据配对若特征和标签已经是Tensor，可以这样包装：importtorchfromtorch.utils.dataimportTensorDataset X=torch.arange(1,11,dtype=torch.float32).reshape(-1,1)y=2*X+1dataset=TensorDataset(X,y)print(len(dataset))# 10x0,y0=dataset[0]print(x0,y0)# tensor([1.]), tensor([3.])X和y的第0维长度必须相同。索引0同时取出X[0]和y[0]，保证这条任务对应自己的工时。这里dataset[0]是“第0条样本”，不是“第0批”。五、自己实现一个Dataset后面处理文件或额外字段时，自定义Dataset更灵活：fromtorch.utils.dataimportDatasetclassTaskHoursDataset(Dataset):de