简介这是一套面向机器学习初学者的Keras回归问题实战代码以波士顿房价预测为经典案例完整演示了回归任务从数据准备到模型评估的全流程。资源包含2个Python脚本压缩包仅3KB代码精简且层次清晰基础版脚本涵盖导入Keras、numpy与sklearn加载波士顿房价数据集使用StandardScaler进行特征标准化再利用train_test_split划分训练集与测试集随后通过Sequential API构建含ReLU激活的隐藏层和线性输出层的多层感知器并以均方误差为损失函数、Adam为优化器完成训练进阶脚本则展示了优化后的参数配置并给出预测结果对比便于读者系统理解网络层数、神经元数量及超参数对房价预测精度的影响。已有2681人学习下载适合正在学习深度学习中回归任务、或希望快速上手Keras的初学者与开发者。通过运行脚本读者不仅能掌握回归与分类在输出层激活函数和损失函数选择上的差异还能学会绘制训练与验证的MAE曲线来诊断过拟合与欠拟合为后续特征工程和超参数调优打下坚实基础。1. 波士顿房价预测为什么这个 keras 回归实例值得跑一遍这个 rar 包里的内容并不神秘一份波士顿房价数据集加一段用 keras 搭神经网络做回归的训练脚本。它的价值在于把神经网络解决回归问题的完整链路——数据加载、标准化、网络搭建、编译、训练、评估——压缩在一个几分钟就能跑完的例子里。很多人看了一堆分类教程什么 MNIST、CIFAR-10 都玩得转真到自己手里遇到“预测一个连续数值”的任务时却不知道输出层该不该加激活函数、损失函数选什么、指标怎么看。波士顿房价预测就是用来补上这块短板的。适合刚入门 keras 的学生也适合想验证自己对回归任务理解是否到位的从业者。跑通它你才算把神经网络的回归闭环真正握在手里。2. 从分类思维切换到回归网络结构、损失函数和评估口径怎么定2.1 回归和分类在模型设计上的三个关键差异波士顿房价预测的目标是 MEDV即房屋价格中位数单位是千美元。这是一个连续值不是一个类别标签。所以任务本质上和图像分类完全不同但很多人第一次写 keras 回归时脑袋里还挂着分类的模板于是输出层用了 softmax损失函数选了 categorical_crossentropy结果训练一万轮 loss 都不怎么动。两个任务在模型设计上的差异集中体现在三个地方输出层的设计、损失函数的选择、评估指标的解读。我把它们并排放在一起看更清楚。设计项分类任务多分类回归任务输出层神经元数类别数 N1 个输出层激活函数softmax输出概率分布不加激活函数线性输出损失函数categorical_crossentropymse / mae / huber评估指标accuracy / top-k accuracymae / mse / R²输出层不加激活函数是回归任务里最容易被忽略的设计。softmax 和 sigmoid 都会把输出强行压到一个区间里比如 0 到 1而房价的真实值可能是 20、30、50单位是千美元。一旦输出被限制在 0 到 1 之间模型永远不可能拟合到真实值。线性输出则意味着神经网络的最后一层只是做了一次加权求和输出可以是任意实数这才符合回归任务的本质。损失函数也是同理。MSE 计算的是预测值和真实值差的平方它惩罚大误差所以训练时模型会优先去改正那些偏差特别大的样本。MAE 则对每个样本一视同仁训练更稳但对大误差的惩罚不够狠。实际项目中我一般先用 MSE 训练如果发现 loss 曲线抖动得很厉害再考虑换成 MAE 或 Huber。波士顿房价这个数据集样本少、噪声大mse 和 mae 都能用关键是别带着分类脑去写。2.2 13 个特征如何变成 1 个价格前馈网络的向前传播波士顿房价数据集有 13 个特征包括人均犯罪率、一氧化氮浓度、每栋住宅的平均房间数、到市中心就业中心的加权距离等。这 13 个数是一行输入最终要输出一个价格。中间的转换靠的就是前馈神经网络。前馈神经网络是结构最简单也最经典的神经网络数据从输入层进入经过一个或多个隐藏层最后从输出层出去层与层之间是全连接的数据只向前流动没有反馈回路。很多人看过的 BP 神经网络结构图画得最多的就是这种三层结构输入层、隐藏层、输出层。这里“BP”指的是训练时的反向传播算法而推理时走的路径就是前向传播。假设我们用 keras 搭一个 64 个神经元的隐藏层那么第一层做的事情是拿输入的 13 个数乘以一个形状为 13×64 的权重矩阵加上 64 个偏置项得到 64 个加权和再逐个经过 ReLU 激活函数。这一层的输出是 64 个非零的数它们又被送到下一层重复同样的操作。最后一层只有 1 个神经元做一次线性求和吐出一个价格。用 NumPy 伪代码可以把整个前向传播写得很直白import numpy as np # X 是单个样本形状 (13,) # W1: (13, 64), b1: (64,) # W2: (64, 1), b2: (1,) h np.maximum(X W1 b1, 0) # ReLU 激活负值截断为 0 y_pred h W2 b2 # 输出层不加激活这里最关键的是 W1、W2 这些权重矩阵在初始化时是随机的所以第一轮预测出来的价格和真实值差得很远。训练的目的就是不断调整这些权重让 y_pred 越来越接近真实房价。每一层隐藏层本质上是在对输入特征做一次重新组合和变换层数越多、每层神经元越多网络能拟合的函数就越复杂。也正是因为这样前馈神经网络在表格型回归任务里至今仍是主力结构之一虽然 CNN、LSTM 各有主场但波士顿房价这种 13 维特征的小规模回归任务全连接网络就是最合适的工具。2.3 反向传播与残差计算训练时到底在调整什么前向传播算出预测值之后接下来要回答的问题是每个权重应该往哪个方向调、调多少。这个环节就是反向传播。第一步是计算残差。残差在这里就是预测值和真实值的差比如模型预测房价是 18 千美元真实值是 22 千美元残差就是 -4。MSE 损失函数会把这个残差平方一下作为最终要最小化的目标。第二步是把误差从输出层往输入层逐层回传按照“每个权重对最终误差贡献了多少”来分配调整量这就是链式法则在做的事情。每个权重都会拿到一个梯度梯度的正负告诉我们应该往哪个方向调梯度的绝对值大小告诉我们应该调多少。调多大幅度由学习率决定。学习率设大了每一步跨得太远loss 容易震荡甚至发散设小了训练半天 loss 纹丝不动。经典的做法是从 1e-3 起步观察前几轮的 loss 下降速度再微调。理解反向传播还有一个实际好处后面遇到 loss 不降、抖动、NaN 这类问题排查方向无非就三个——梯度算错了一般是数据或激活函数的问题、学习率步子迈太大、梯度在某一层消失了ReLU 把负值全部截断导致某些神经元永久输出 0。这三个方向弄明白训练一个前馈网络就不会再心虚。3. keras 实现波士顿房价回归最小可运行代码与参数说明3.1 环境准备与数据加载内置数据集为什么越来越难用先解决环境。现在提到 keras 安装教程大部分默认你装的是 TensorFlow 自带的 tf.keras也就是从 tensorflow 包导入 keras这种方式开箱即用不需要额外配置后端。如果你装的是独立的 keras 3.x 包虽然也能跑但后端要另外指定 TensorFlow、PyTorch 或 JAX对新手来说徒增一道门槛。所以这里统一用from tensorflow import keras装好 TensorFlow 就够用了。数据加载有一个很现实的坑keras 的datasets.boston_housing内置接口在较新的 TensorFlow 版本里已经被移除或无法正常下载了。一方面是因为老的下载链接失效另一方面是因为这个数据集本身存在数据伦理争议官方逐渐把它从内置数据集里撤掉。所以我不建议再依赖内置接口直接准备一份本地的boston_housing.csv更省心。import pandas as pd # 本地 CSV 加载列名以实际文件为准目标列 MEDV 是房价中位数 df pd.read_csv(boston_housing.csv) X df.drop(columns[MEDV]).values.astype(float32) y df[MEDV].values.astype(float32) print(X.shape) # (506, 13) print(y.shape) # (506,)这段代码的意义是把特征和目标分开。如果你手里的 CSV 列名是 crim、zn、indus 这类原始特征名只需要保证drop操作里去掉了名为 MEDV 的那一列即可。astype(float32)是保证数据类型是浮点避免整数除法之类的隐性问题这在后面矩阵运算时能少踩几个坑。3.2 搭建三层前馈网络神经元数量怎么定拿到数据之后先别急着建模型先做一次训练集测试集划分和特征标准化这一步的具体理由在第 4 章展开。这里先假设我们已经有了X_train_scaled、X_test_scaled、y_train、y_test然后直接搭网络。from tensorflow import keras from tensorflow.keras import layers model keras.Sequential([ layers.Dense(64, activationrelu, input_shape(13,)), layers.Dropout(0.2), layers.Dense(32, activationrelu), layers.Dense(1) # 回归输出不加激活函数 ]) model.compile( optimizerkeras.optimizers.Adam(learning_rate1e-3), lossmse, metrics[mae], ) model.summary()网络结构只有三层属于典型的前馈神经网络配置。第一个 Dense 层有 64 个神经元输入形状是 13对应 13 个特征。为什么选 64这是经验值对于 506 条样本的小数据集64 个神经元已经足够表达特征之间的复杂关系再往上加神经元在这个数据量下只会加速过拟合。第二层 Dense 减少到 32 个神经元网络逐层收窄强迫模型把特征压缩提炼这也是全连接网络的常见设计手法。Dropout 层以 0.2 的概率随机丢弃上一层的输出是为了防止训练时模型过度依赖某些神经元。输出层只有 1 个神经元不加激活函数这是回归任务的硬性要求。编译时优化器选了 Adam默认学习率 1e-3它对大多数回归任务都能快速收敛不需要手动调整动量之类的东西。损失函数用 msemetrics 同时监听 mae因为 mse 的数值是误差的平方量纲不直观而 mae 直接告诉你“平均预测偏差了几千美元”。3.3 训练、早停与 loss 曲线训练过程不等于训练结果模型定义好之后训练这一步看似简单实际却藏着不少决策点。最不重要的问题反而是“训练多少轮”因为有了早停机制之后网络自己会决定什么时候停下来。history model.fit( X_train_scaled, y_train, validation_split0.2, epochs200, batch_size16, callbacks[ keras.callbacks.EarlyStopping( monitorval_loss, patience20, restore_best_weightsTrue, ) ], verbose1, )validation_split0.2表示在训练集内部再留出 20% 作为验证集每轮训练结束后模型会在验证集上看一眼自己的表现这个验证集 loss 就是判断是否过拟合的依据。epochs200只是一个上限真正跑多少轮由早停决定。早停监控的是val_loss如果连续 20 轮验证集 loss 都没有刷新历史最好值训练就提前结束并把权重回滚到验证集 loss 最好那一轮的位置。这里有一个新手最容易误解的地方训练结束显示的loss是最后一步的状态不代表模型最好的一步。如果不用restore_best_weightsTruekeras 默认保留的是最后一次 epoch 的权重而那个权重往往已经处于过拟合状态了。很多人困惑“为什么训练 loss 很低测试误差却很高”有一部分原因就出在这里。训练完成后可以把 history 里的 loss 和 val_loss 画出来曲线会直观地告诉你过拟合发生在大约第几轮这是调参路上最常用的诊断手段。4. 标准化与训练/测试切分回归模型一半的胜败在这里4.1 为什么回归任务几乎必须做特征标准化波士顿房价数据集的 13 个特征取值范围天差地别。人均犯罪率 CRIM 大多在 0 到 1 之间而到就业中心的加权距离 DIS 的范围可能是 1 到 12一氧化氮浓度 NOX 则是一个零点几的小数。如果把这些原始数值直接喂给神经网络第一个隐藏层在计算加权和时数值范围大的特征会对加权和产生支配性的影响模型会误以为那些特征更重要而数值小的特征即使有很强的预测能力也容易被淹没。标准化解决的就是这个问题。StandardScaler 把每个特征减去均值、除以标准差让所有特征都落在 0 附近、方差为 1 的分布里。做完这一步之后每个特征在网络里拥有平等的初始地位模型的训练速度和最终效果都会有明显提升。实际上很多回归任务的“loss 居高不下”“训练不收敛”问题根源根本不是网络结构而是数据没标准化。from sklearn.preprocessing import StandardScaler from sklearn.model_selection import train_test_split # 先切分再标准化 X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42 ) scaler StandardScaler() X_train_scaled scaler.fit_transform(X_train) # 在训练集上拟合 X_test_scaled scaler.transform(X_test) # 测试集只转换标准化代码本身只有三行但有一个严格的顺序要求切分必须在标准化之前完成标准化器只允许在训练集上调用fit_transform测试集只能调用transform。道理很简单测试集在现实中是未来的数据模型训练时不应该知道它的均值是多少、标准差是多少。一旦用全部数据去拟合 scaler再切分测试集的信息就已经泄漏到训练流程里了最后评估出来的测试误差会偏乐观模型上线后真实表现往往要差一截。4.2 数据泄漏最常见的隐性错误数据泄漏这个话题在比赛和论文里被反复讲但在自己写回归脚本时最容易犯。最常见的错误就是先对整个 X 做scaler.fit_transform(X)然后再train_test_split。这样测试集的均值和标准差已经参与了标准化过程相当于测试集的分布信息被模型间接“看见”了。另一个容易犯的错误是把 scaler 对训练集拟合后忘了测试集需要做同样的转换直接拿原始测试集喂给模型。这种行为在本地跑不会报错因为model.predict会正常执行但预测结果会因为特征量纲不匹配而明显偏大或偏小。判断方法很简单对比训练集和测试集预测值的均值如果两者差异巨大先回去检查 scaler 的处理是不是对称的。标准化的顺序也可以延伸到目标变量 y 上。对 y 做标准化同样是合法的但会引入一个额外的换算步骤模型预测出来的是标准化房价需要逆变换回原始单位才能解释。我的建议是目标变量 y 不要做标准化让 MAE 直接以千美元为单位呈现省去逆变换的麻烦也方便向业务方解释误差含义。4.3 如果对 y 做了标准化评估时必须做逆变换网上不少代码为了追求 loss 数值好看把 y 也一并标准化了。这种做法本身没有错标准化后 MSE 会变得非常小因为数值范围被压缩到了 0 附近但这不代表模型真的“预测得很准”。如果你跟着这类代码走最后一步一定要把预测结果还原到真实单位。# 假设训练时对 y 做过 StandardScaler y_mean scaler_y.mean_ y_std scaler_y.scale_ y_pred_scaled model.predict(X_test_scaled).ravel() y_pred y_pred_scaled * y_std y_mean # 逆变换回千美元 # 用原始单位计算真实误差 from sklearn.metrics import mean_absolute_error mae_real mean_absolute_error(y_test, y_pred) print(fMAE: {mae_real:.2f} 千美元)这组代码里有几个细节值得注意。model.predict返回的形状是 (样本数, 1)直接ravel()拉平成一维否则和 y_test 计算误差时会因为维度不匹配报错或给出错误结果。逆变换的逻辑很简单标准化的公式是(y - y_mean) / y_std还原就是y_pred * y_std y_mean。评估指标也得用原始单位重新算一遍因为在标准化空间里算出来的 MAE 是一个没有实际意义的无量纲数字。至此一个完整的 keras 回归流程已经可以正常跑了。数据加载、标准化、切分、建模、训练、评估六个环节全部打通。但训练一个模型只是第一步这个模型到底能不能用还需要面对各种训练过程中的异常表现。5. 常见问题排查波士顿房价训练中 5 个翻车现场的现象、原因与解决5.1 内置数据集加载报错降级到本地 CSV现象运行keras.datasets.boston_housing.load_data()时程序长时间卡住后报错提示 URL 无法访问或数据集不存在。即便网络正常某些新版 TensorFlow 里这个接口也已经从 keras 的 datasets 模块中移除了报错信息直接说找不到这个属性。原因这个数据集的官方维护已经停止keras 官方出于数据集伦理问题的考虑逐步将其从内置数据集中下架。老的下载链接失效后任何依赖在线下载的方式都会失败。解决不要在这个接口上浪费时间直接准备一份本地 CSV。数据集的原始版本是公开的各大机器学习教材和仓库里都能找到boston_housing.csv加载方式像第 3 章那样用 pandas 读取即可。如果本地文件也没有可以在自己的数据目录里找一下类似字段的房价数据特征数量不同的话只需要对应修改input_shape。5.2 输出层加了 sigmoidloss 永远停在不合理的位置现象训练多轮之后loss 下降到一个数值后就再也不动了预测结果全部集中在某个小区间。比如波士顿房价中位数范围大致是 5 到 50 千美元但模型预测值全部在 0 到 1 之间。原因这是把分类任务的输出设计沿用到了回归任务上。sigmoid 激活函数把神经网络的输出强行压缩到 0 到 1 之间而房价的真实值动辄十几、几十模型即使想把预测值调到 20数学上也不可能越过 sigmoid 的函数上限。loss 停在的地方就是“尽力压缩到 0-1 后与真实值差异最小的那个点”。解决删掉输出层的激活函数让输出层变成一个纯线性层。代码层面的修改只有一行把layers.Dense(1, activationsigmoid)改成layers.Dense(1)。修改后模型不再受限于输出范围loss 会立刻开始明显下降。这也是回归任务和分类任务在结构设计上最典型的分水岭。5.3 loss 直接变成 NaN或第一轮就是天文数字现象训练第一轮输出一个几百万甚至几十亿的 loss再跑几轮直接变成nan。模型预测结果也全是nan或离谱的负数。原因最常见的原因是数据没标准化。某些特征取值范围达到数百和另一个范围 0 到 1 的特征相乘再累加后加权和很容易超过数值精度范围梯度计算时直接溢出。次要原因是学习率设得太大Adam 优化器虽然鲁棒但面对数值范围过大的 loss 也无力回天。还有一种隐蔽情况数据本身包含 NaN 或无穷值被直接喂给了网络。解决先检查np.isnan(X).sum()确认数据里有没有缺失值然后对特征做 StandardScaler 标准化。如果数据已经标准化处理过了还是出现 NaN把 learning_rate 调小一个数量级再看看。排查顺序应该固定为检查数据 → 检查标准化 → 检查学习率 → 检查损失函数是否与任务匹配。这一套走完回归任务的 NaN 问题基本能定位。5.4 训练集 loss 一路走低验证集 loss 却开始反弹现象前几十轮训练集和验证集 loss 一起下降之后训练集 loss 继续缓慢下降验证集 loss 却见底反弹甚至越涨越高。原因这是标准的过拟合。波士顿房价只有 506 条样本训练集约 320 条对一个 6432 个神经元的全连接网络来说信息量远不足以满负荷学习。网络开始把训练样本里的噪声也当成规律记下来表现在曲线上就是两条 loss 开始分叉。解决优先用早停控制训练轮数把patience设置在 15 到 20 之间让训练在验证集 loss 开始恶化前停下来。其次增大 Dropout 的比例从 0.2 调到 0.4 甚至 0.5强制网络不依赖单条路径。最后还可以把网络改小比如把第一个 Dense 从 64 降到 32参数量减少后过拟合风险会同步降低。这三个办法按顺序试一般都能把验证集 loss 压回正常水平。5.5 评估指标的单位陷阱标准化空间里算出的 MAE 不是真误差现象测试集上算出来的 MAE 只有 0.05看着非常漂亮但把预测结果打印出来却发现和真实房价对不上。如果你对 y 也做了标准化就会遇到这个问题。原因对 y 标准化之后数据范围被压缩到均值 0、标准差 1 附近所有误差也被等比缩小。比如原始房价标准差是 9 千美元标准化后 MAE 0.05 还原回原始单位大约是 0.45 千美元而不是你以为的“误差极小”。解决评估必须回到原始单位。用逆变换把预测值还原后再算 MAE、RMSE、R²否则你得到的一切误差指标都无法解释。为了避免这个场景反复出现我前面的建议还是保持不变回归任务里对特征做标准化对目标变量不做标准化。目标变量的量纲本来就应该是你向其他人汇报误差时的计量单位。6. 验证模型能不能用重复训练、K 折与 R² 的朴素用法一个模型训练完成、测试集 MAE 也跑出来了这时候还不能急着下结论。单次训练的结果受权重初始化影响很大keras 默认的随机种子不固定同一个脚本连续跑两次测试集 MAE 可能差出 0.5 千美元甚至更多。判断模型的真实水平至少要重复训练 5 到 10 次看误差的均值和标准差。这里的逻辑很简单均值是模型的真实水平标准差是模型的稳定性。如果标准差过大说明模型对初始化过于敏感这时候调网络结构比调学习率更值得投入。更严谨一点的做法是换用 K 折交叉验证。把数据切成 5 折每次拿 4 折训练、1 折验证轮流做 5 次最后取平均。这样每一份数据都当过验证集评估结果比单次留出法更能代表模型的泛化能力。代码上只需要在 sklearn 的 KFold 外面套一层循环每次用不同的折切分数据重复训练和评估即可。评估指标上除了看 MAER² 是回归任务里另一个值得关注的数字。它刻画的是模型解释了目标变量多少比例的方差1.0 是完美预测0 相当于直接把预测值设定为均值。波士顿房价预测这个任务噪声很大能到 0.7 以上就算是不错的模型了。用 sklearn 的r2_score一行就能算出来注意输入的 y_pred 必须是逆变换后的原始单位。模型定稿之后用model.save(boston_housing_regression.keras)保存权重和结构后续直接keras.models.load_model加载推理。我自己的习惯是跑回归任务必设random_state固定切分同时重复训练至少三次取中位数如果三次结果的 MAE 标准差超过 0.3 千美元就回去检查数据质量或网络容量。这个习惯帮我躲过了不少“这次跑出来很好下次复现不了”的尴尬。希望这个波士顿房价的完整流程对你也有同样的帮助祝顺利跑通。本文还有配套的精品资源点击获取