天秀之支持向量机(SVM)
人人都是数据分析师
发表于
首先对于支持向量机，我们定义了折页损失函数，如果将折页损失函数换为交叉熵损失函数，那么它与带了L2正则项的逻辑回归将几乎一致，这是第一点不同，损失函数不同。其次使用了非线性核函数的支持向量机具备了非线性划分的能力，逻辑回归则通过自变量变换的方式来获取非线性划分的能力，这是第二点不同(本质上核变换不就是自变量变换嘛)。第三点则是思考问题的思路不同，导致它们求解问题的方式不同，逻辑回归一般应用梯度下降的方法求解，支持向量机应用SMO求解拉格朗日乘子，进而求解最优划分曲线方程。最后就是支持向量的模型仅与几个支持向量相关，它对其他脏数据不敏感，但是其模型涉及距离计算，需要事先标准化。