机器学习--决策树、线性模型、随机梯度下降

机器学习--决策树、线性模型、随机梯度下降

目录

 一、决策树

二、线性模型

三、随机梯度下降

机器学习--决策树、线性模型、随机梯度下降

 一、决策树

机器学习--决策树、线性模型、随机梯度下降

决策树（decision tree）：是一种基本的分类与回归方法，此处主要讨论分类的决策树。

在分类问题中，表示基于特征对实例进行分类的过程，可以认为是if-then的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。

决策树通常有三个步骤：特征选择、决策树的生成、决策树的修剪。

用决策树分类：从根节点开始，对实例的某一特征进行测试，根据测试结果将实例分配到其子节点，此时每个子节点对应着该特征的一个取值，如此递归的对实例进行测试并分配，直到到达叶节点，最后将实例分到叶节点的类中。

好处：

坏处：

决策树学习的算法通常是一个递归地选择最优特征，并根据该特征对训练数据进行分割，使得各个子数据集有一个最好的分类的过程。这一过程对应着对特征空间的划分，也对应着决策树的构建。

随机森林——让决策树稳定的方法 

Boosting——另一个提升树模型的方法

总结：

二、线性模型

以之前房价预测的例子： 在模型中的参数w（权重）与b（偏差）是可以通过数据学习的

机器学习--决策树、线性模型、随机梯度下降 线性回归预测的方程：

机器学习--决策树、线性模型、随机梯度下降 目标函数（优化 平均均方误差 MSE） 

机器学习--决策树、线性模型、随机梯度下降

使用MSE做为目标函数的分类存在问题

使用均方误差（MSE）作为目标函数，使得预测值趋近真实值，但是作为分类关心的是数据对应类别的置信度。

解决方法：

总结

三、随机梯度下降

我们要求解，一般是可以通过显式解来求的，一般使用随机梯度下降的方法（SGD）

随机梯度下降（SGD）是一种简单但非常有效的方法，多用用于支持向量机、逻辑回归（LR）等凸损失函数下的线性分类器的学习。并且SGD已成功应用于文本分类和自然语言处理中经常遇到的大规模和稀疏机器学习问题。
SGD既可以用于分类计算，也可以用于回归计算。

SGD算法是从样本中随机抽出一组，训练后按梯度更新一次，然后再抽取一组，再更新一次，在样本量及其大的情况下，可能不用训练完所有的样本就可以获得一个损失值在可接受范围之内的模型了。（重点：每次迭代使用一组样本。）
为什么叫随机梯度下降算法呢？这里的随机是指每次迭代过程中，样本都要被随机打乱，这个也很容易理解，打乱是有效减小样本之间造成的参数更新抵消问题。 

小批量随机梯度下降（Mini-batch SGD） 

小批量随机梯度下降，是整个机器学习里面，目前来说几乎是唯一的求解方法，虽然线性模型有很多的方法来求解，但是小批量随机梯度下降可以解决出决策树以外的模型。

机器学习--决策树、线性模型、随机梯度下降 步骤：

优点：小批量随机梯度下降可以解决出决策树以外的模型

缺点：超参数b与η需要自己选

实现随机梯度下降   

def SGD_LR(data_x, data_y, alpha=0.1, maxepochs=10000,epsilon=1e-4):
    xMat = np.mat(data_x)
    yMat = np.mat(data_y)
    m, n = xMat.shape
    weights = np.ones((n, 1))  # 模型参数
    epochs_count = 0
    loss_list = []
    epochs_list = []
    while epochs_count < maxepochs:
        rand_i = np.random.randint(m)  # 随机取一个样本
        loss = cost(xMat,weights,yMat) #前一次迭代的损失值
        hypothesis = sigmoid(np.dot(xMat[rand_i,:],weights)) #预测值
        error = hypothesis -yMat[rand_i,:] #预测值与实际值误差
        grad = np.dot(xMat[rand_i,:].T,error) #损失函数的梯度
        weights = weights - alpha*grad #参数更新
        loss_new = cost(xMat,weights,yMat)#当前迭代的损失值
        print(loss_new)
        if abs(loss_new-loss)<epsilon:
            break
        loss_list.append(loss_new)
        epochs_list.append(epochs_count)
        epochs_count += 1
    print('迭代到第{}次，结束迭代！'.format(epochs_count))
    plt.plot(epochs_list,loss_list)
    plt.xlabel('epochs')
    plt.ylabel('loss')
    plt.show()
    return weights

优点：

缺点：

标签 , ,