四、BGD, MBGD, and SGDBGD：批量梯度下降法（Batch Gradient Descent，简称BGD）是梯度下降法最原始的形式，它的具体思路是在更新每一参数时都使用所有的样本来进行更新，它的目的是得到一个全局最优解，但是每迭代一步，都要用到训练集所有的数据，如果样本数目很大，这种方法的迭代速度很慢！SGD：随机梯度下降是通过每个样本来迭代更新一次，如果样本量很大的情况（例如几十万），那么可能只用其中几万条或者几千条的样本，就已经将theta迭代到最优解了，对比上面的批量梯度下降，迭代一次需要用到十几万训练样本，一次迭代不可能最优，如果迭代10次的话就需要遍历训练样本10次。但是，SGD伴随的一个问题是噪音较BGD要多，使得SGD并不是每次迭代都向着整体最优化方向。优点：训练速度快；缺点：准确度下降，并不是全局最优；不易于并行实现。MBGD：小批量梯度下降，是对批量梯度下降以及随机梯度下降的一个折中办法。其思想是：每次迭代 使用 batch_size 个样本来对参数进行更新。MBGD与BGD和SGD进行比较：与SGD相比，MBGD具有更少的随机性，因为它使用更多的采样数据，而不是像SGD中那样仅仅使用一个。·与BGD相比，MBGD在每次迭代中不要求使用全部的samples，这使其更加灵活和高效if m=1, MBGD变为SGDif m=n,MBGD does NOT become BGD strictly speaking, 因为MBGD使用n n