支持向量机（SVM）广泛应用于模式分类和非线性回归领域。 SVM算法的原始形式由Vladimir N.Vapnik和Alexey Ya提出。自从那以后，SVM已经被巨大地改变以成功地用于许多现实世界问题。 1.什么是支持向量机（SVM）？...

本文介绍了多项式回归的过拟合和欠拟合、泛化能力和学习曲线，通过对比测试集和验证集的MSE的学习曲线，判断拟合是过拟合还是欠拟合，寻找到最合适的模型。 高阶多项式回归对训练数据的拟合，可能会比简单线性...

如果数据比简单的直线更为复杂，我们也可以用线性模型来拟合非线性数据。一个简单的方法就是将每一个特征的幂次方添加为一个新的特征，然后在这个拓展的特征集上进行线性拟合，这种方法成为多项式回归。 回归...

线性回归模型就是对输入特征加权求和，再加上一个我们称为偏置项（截距）的常数，以此进行预测。它反映的是每一个特征对因变量的影响方向（\(θ\)值的正负）和影响力（\(θ\)的绝对值大小）。 1. 模型说明 ...

聚类分析（英语：Cluster analysis）亦称为群集分析，是对于统计数据分析的一门技术，在许多领域受到广泛应用，包括机器学习，数据挖掘，模式识别，图像分析以及生物信息，顾客分类，文章分类等。聚类是把相...

大量的特征变量，很多的模型，模型也有很多参数，如何选择合适的特征、合适的模型和合适的模型参数，这对建模是很重要的，但也是很困难的。并且选择最优的方案，方法也是很多的，这里将其中一种方法尽量描述...

决策树是各种机器学习任务的常用方法。 决策树是比较能满足于数据挖掘的方法，因为它在特征值的缩放和其他各种转换下保持不变，对无关特征是可靠的，而且能生成可被检查的模型。 然而，生长很深的树容易学习...

一、什么是决策树 决策树算法，人如其名，结构就像一棵树，有分叉的枝丫和树叶。枝丫的分叉处是关于目标某一个特征的判断，枝丫本体则是关于该特征的判断结果，而叶子则是判断过后产生的决策结果。 上图...

k近邻算法（KNN）是监督学习算法，意味着训练数据集需要有label或者类别，KNN的目标是把没有标签的数据点（样本）自动打上标签或者预测所属类别。同时KNN也可用于回归。 KNN的主要实现过程： 计算训练...

回归要拟合或者预测的因变量是一个连续变量，而分类要拟合或者预测的因变量是一个离线变量。如通过一系列的特征（收入、工作年限、公司规模、是否有房、是否有车、是否有贷款）来预测一个信用卡申请人是否可以发...