Scikit Learn 随机梯度下降

在这里，我们将了解 Sklearn 中的一种优化算法，称为随机梯度下降 (SGD)。

随机梯度下降 (SGD) 是一种简单而有效的优化算法，用于找到最小化成本函数的函数参数/系数的值。换句话说，它用于在 SVM 和 Logistic 回归等凸损失函数下对线性分类器进行判别学习。它已成功应用于大规模数据集，因为系数更新是针对每个训练实例执行的，而不是在实例结束时执行。

SGD 分类器

随机梯度下降 (SGD) 分类器基本上实现了一个简单的 SGD 学习例程，支持各种损失函数和分类惩罚。 

Scikit-learn 提供SGDClassifier模块来实现 SGD 分类。

参数

下表是 SGDClassifier 模块使用的参数：

属性

下表是 SGDClassifier 模块使用的属性：

示例

与其他分类器一样，随机梯度下降 (SGD) 必须拟合以下两个数组：

• 保存训练样本的数组 X，它的大小为 [n_samples, n_features]。

• 保存目标值的数组 Y，即训练样本的类标签。它的大小为 [n_samples]。

以下 Python 脚本使用 SGDClassifier 线性模型：

import numpy as np
from sklearn import linear_model
X = np.array([[-1, -1], [-2, -1], [1, 1], [2, 1]])
Y = np.array([1, 1, 2, 2])
SGDClf = linear_model.SGDClassifier(max_iter = 1000, tol=1e-3,penalty = "elasticnet")
SGDClf.fit(X, Y)

SGDClassifier(
    alpha = 0.0001, average = False, class_weight = None,
    early_stopping = False, epsilon = 0.1, eta0 = 0.0, fit_intercept = True,
    l1_ratio = 0.15, learning_rate = 'optimal', loss = 'hinge', max_iter = 1000,
    n_iter = None, n_iter_no_change = 5, n_jobs = None, penalty = 'elasticnet',
    power_t = 0.5, random_state = None, shuffle = True, tol = 0.001,
    validation_fraction = 0.1, verbose = 0, warm_start = False
)

现在，一旦拟合，模型可以预测新值如下：

SGDClf.predict([[2.,2.]])

array([2])

对于上面的例子，我们可以借助以下python脚本来获取权重向量：

SGDClf.coef_

array([[19.54811198, 9.77200712]])

同样，我们可以借助以下python脚本来获取intercept的值：

SGDClf.intercept_

array([10.])

我们可以通过使用 SGDClassifier.decision_function 来获得与超平面的有符号距离，如下面的python脚本中使用的那样：

SGDClf.decision_function([[2., 2.]])

array([68.6402382])

SGD 回归器

随机梯度下降 (SGD) 回归器基本上实现了一个简单的 SGD 学习例程，支持各种损失函数和惩罚来拟合线性回归模型。

Scikit-learn提供 SGDRegressor 模块来实现SGD回归。

参数

SGDRegressor使用的参数与SGDClassifier模块中使用的参数几乎相同，区别在于 "loss"参数。对于SGDRegressor模块的loss参数，其正值如下：

• squared_loss： 指的是普通最小二乘拟合。

• huber：SGDRegressor： 通过从平方损失转换为线性损失超过 epsilon 的距离来校正异常值。 “huber”的工作是修改“squared_loss”，使算法不再关注纠正异常值。

• epsilon_insensitive： 实际上，它忽略了小于 epsilon 的错误。

• squared_epsilon_insensitive： 与 epsilon_insensitive 相同。唯一的区别是它变成了超过 epsilon 容差的平方损失。

另一个区别是名为'power_t'的参数的默认值是0.25，而不是SGDClassifier中的0.5，此外，它没有'class_weight'和'n_jobs'参数。

属性

SGDRegressor 的属性也与 SGDClassifier 模块的属性相同。但是，它具有三个额外的属性，如下所示：

• average_coef_：array，形状(n_features,)

顾名思义，它提供分配给特征的平均权重。

• average_intercept_： array，形状(1,)

顾名思义，它提供了平均截距项。

• t_： int

它提供了在训练阶段执行的权重更新次数。

注意： 属性average_coef_ 和average_intercept_ 将在启用参数“average”为True 后起作用。

示例

以下Python脚本使用 SGDRegressor 线性模型：

import numpy as np
from sklearn import linear_model
n_samples, n_features = 10, 5
rng = np.random.RandomState(0)
y = rng.randn(n_samples)
X = rng.randn(n_samples, n_features)
SGDReg =linear_model.SGDRegressor(
    max_iter = 1000,penalty = "elasticnet",loss = 'huber',tol = 1e-3, average = True
)
SGDReg.fit(X, y)

SGDRegressor(
    alpha = 0.0001, average = True, early_stopping = False, epsilon = 0.1,
    eta0 = 0.01, fit_intercept = True, l1_ratio = 0.15,
    learning_rate = 'invscaling', loss = 'huber', max_iter = 1000,
    n_iter = None, n_iter_no_change = 5, penalty = 'elasticnet', power_t = 0.25,
    random_state = None, shuffle = True, tol = 0.001, validation_fraction = 0.1,
    verbose = 0, warm_start = False
)

现在，我们可以借助以下python脚本获得权重向量：

SGDReg.coef_

array([-0.00423314, 0.00362922, -0.00380136, 0.00585455, 0.00396787])

同样，我们可以借助以下python脚本来获取intercept的值：

SGReg.intercept_

SGReg.intercept_

我们可以借助以下python脚本获取训练阶段权重更新的次数：

SGDReg.t_

61.0

SGD 的利弊

遵循SGD的优点：

• 随机梯度下降 (SGD) 非常有效。

• 它很容易实现，因为有很多代码调整的机会。

遵循SGD的缺点：

• 随机梯度下降 (SGD) 需要几个超参数，如正则化参数。

• 它对特征缩放很敏感。