Python大规模建模的特征值选择和性能评估方法详解

作者: admin 分类: 应用            发布时间: 06月11日 16:39

大量的特征变量,很多的模型,模型也有很多参数,如何选择合适的特征、合适的模型和合适的模型参数,这对建模是很重要的,但也是很困难的。并且选择最优的方案,方法也是很多的,这里将其中一种方法尽量描述清楚:

通过遍历所有的特征组合,用最一般的模型去拟合,并计算各种特征组合的模型的性能评估,选择最好的特征组合。用最好的特征组合去创建其他模型及各种参数,确定最好的模型和参数。

数据说明

加载sklearn的数据集,X是一个13维度的特征变量,y是一个一维的分类离散变量。这里我们寻求一个最好的X的特征组合去拟合y的分类。下面是加载数据集的代码:

from sklearn.datasets import load_wine
wine = load_wine() 
X = wine.data
y = wine.target

一、加载需要用到的python模块
import matplotlib.pyplot as plt
import pandas as pd
import numpy as np

from sklearn import tree
from sklearn import ensemble
from sklearn import linear_model
from sklearn.model_selection import cross_val_score
from sklearn.model_selection import train_test_split
from sklearn.datasets import load_wine
from sklearn.grid_search import GridSearchCV
二、选择最佳的特征

2.1 加载数据

整理数据,把X转换为pandas的DataFrame类型,定义一个X的所有特征的组合。

wine = load_wine() 
X = wine.data
y = wine.target
X = pd.DataFrame(X)
features = [0,1,2,3,4,5,6,7,8,9,10,11,12]

2.2 定义特征遍历函数

定义一个特征遍历函数combinations,并且把特征组合遍历存放在group_combinations

def combinations(ls):
    n=1<<len(ls)
    tmp=[]
    for i in range(n):
        bits=[i>>offset&1 for offset in range(len(ls)-1,-1,-1)]
        if np.sum(bits)>0:
            current=[ls[index] for (index,bit) in enumerate(bits) if bit==1]
            tmp= tmp+[current]
    return tmp

group_combinations = combinations(features)

这个变量的部分内容是这样的,总共有8191中组合

其实就是

2.3 遍历各类回归模型

定义两个变量存放最好的特征组合和准确率,遍历group_combinations里面的每一项,通过cross_val_score计算模型得分。

  1. 我们选择简单的常用的logistic分类回归模型去寻找最好的特征
  2. 我们通过cross_val_score交叉检验(分5组交叉)去计算模型预测准确率
  3. cross_val_score函数返回的是准确率,cv=5就是分成5组,返回5个准确率
lm = linear_model.LogisticRegression()
best_feature=''
best_score = 0;
for v in group_combinations:
    x = X[v]
    score = np.mean(cross_val_score(lm,x,y,cv=5,scoring='accuracy'))*100
    if score>best_score:
        best_score=score
        best_feture=v
    print('特征'+str(v) +'的平均准确率:'+ '%.4f' % score + '%')
print('最好的特征组合是'+str(best_feture)+',对应的准确率是:' +'%.4f' % best_feature + '%')
最好的特征组合是[0, 1, 2, 3, 6, 8, 9, 10, 12],对应的准确率是:96.7267%
然后我们重新定义x特征,只使用[0, 1, 2, 3, 6, 8, 9, 10, 12]
features = [0, 1, 2, 3, 6, 8, 9, 10, 12]
x=X[[0, 1, 2, 3, 6, 8, 9, 10, 12]]
三、寻找最合适的模型

3.1 决策树模型

建立一个基本的决策树模型,看看效果如何。

dtc = tree.DecisionTreeClassifier(random_state=0)
dtc_s = np.mean(cross_val_score(dtc,x,y,cv=5,scoring='accuracy'))*100
print('平均准确率:'+ '%.4f' % dtc_s + '%')

平均准确率:87.5765%
比logistic分类回归差,那我们在看看决策树模型的其他参数的情况如何。

接下来我们用网格搜索遍历一些参数进行调参,我们遍历criterion的两个和max_depth

  1. criterion=’gini’,分裂节点时评价准则是Gini指数
  2. criterion=’entropy’,分裂节点时的评价指标是信息增益

max_depth

如果为None,表示树的深度不限。直到所有的叶子节点都是纯净的,即叶子节点中所有的样本点都属于同一个类别
还有其他参数可以遍历,就不一一列举了。

GridSearchCV模块是对指定的dtc模型,对parameters参数进行遍历,返回模型得分的一个模块

parameters={
            'criterion':['gini','entropy'],
            'max_depth':[1,2,3,4,5,6,7,8]
            }
grid_search=GridSearchCV(dtc,parameters,scoring='accuracy',cv=5)
grid_search.fit(x,y) 
print('最佳参数组合是'+str(grid_search.best_params_) +',对应的准确率是:'+'%.4f' % (grid_search.best_score_*100)+'%' )

最佳参数组合是{‘criterion’: ‘entropy’, ‘max_depth’: 2},对应的准确率是:92.1348%
总体来说,决策树模型比logistic模型差。

3.2 随机森林模型

先用默认的模型去建立一个基本的随机森林模型。

在随机森林中random_state的作用是告诉代码生成一个固定的森林,但是里面的每一课树长的都是不一样的

rfc = ensemble.RandomForestClassifier(random_state=0)
rfc_s = np.mean(cross_val_score(rfc,x,y,cv=5,scoring='accuracy'))*100
print('平均准确率:'+ '%.4f' % rfc_s + '%')

平均准确率:96.6658%

非常好的准确率,我们接下来进行寻找有没有更优的参数。

n_estimators参数是弱学习器的最大迭代次数,或者说最大的弱学习器的个数。一般来说n_estimators太小,容易欠拟合,n_estimators太大,计算量会太大,并且n_estimators到一定的数量后,再增大n_estimators获得的模型提升会很小,所以一般选择一个适中的数值。默认是100。我们遍历n_estimators从10 20 30 到150,

parameters = {'n_estimators':np.arange(10,151,10)}
grid_search=GridSearchCV(rfc,parameters,scoring='accuracy',cv=5)
grid_search.fit(x,y) 
print('最佳参数组合是'+str(grid_search.best_params_) +',对应的准确率是:'+'%.4f' % (grid_search.best_score_*100)+'%' )

最佳参数组合是{‘n_estimators’: 40},对应的准确率是:98.3146%

这样我们的准确率得到进一步的提高。

我们看看其他参数的调整能不能进一步提高准确率。我们锁定n_estimators=40

rfc = ensemble.RandomForestClassifier(n_estimators=40)
parameters = {'max_depth':np.arange(3,11,2), 'min_samples_split':np.arange(5,21,2)}
grid_search=GridSearchCV(rfc,parameters,scoring='accuracy',cv=5)
grid_search.fit(x,y) 
print('最佳参数组合是'+str(grid_search.best_params_) +',对应的准确率是:'+'%.4f' % (grid_search.best_score_*100)+'%' )

最佳参数组合是{‘max_depth’: 5, ‘min_samples_split’: 13},对应的准确率是:98.3146%,和前面的一样,没有找到更好的。
这里我们是锁定锁定n_estimators=40去做遍历,我们可以通过三个参数一起来遍历试一下。但这样运行的速度会慢一点。

rfc = ensemble.RandomForestClassifier(random_state=0)

parameters = {'n_estimators':np.arange(10,71,10),
               'max_depth':np.arange(3,11,2), 
               'min_samples_split':np.arange(5,21,2)
               }
grid_search=GridSearchCV(rfc,parameters,scoring='accuracy',cv=5)
grid_search.fit(x,y) 
print('最佳参数组合是'+str(grid_search.best_params_) +',对应的准确率是:'+'%.4f' % (grid_search.best_score_*100)+'%' )

最佳参数组合是{‘max_depth’: 3, ‘min_samples_split’: 9, ‘n_estimators’: 40},对应的准确率是:97.1910%

这样反而没有找到比之前更好的。如果我们其他参数不变,只改变n_estimators,从10到150,看看模型的准确率是怎么样的趋势。

rfc = ensemble.RandomForestClassifier(random_state=0)
parameters = {'n_estimators':np.arange(4,151,2)}
grid_search=GridSearchCV(rfc,parameters,scoring='accuracy',cv=5)
grid_search.fit(x,y) 

ss = pd.DataFrame(grid_search.grid_scores_)
f = lambda x: x['n_estimators']
ss['n_estimators'] = ss['parameters'].map(f)
plt.plot(ss['n_estimators'],ss['mean_validation_score'],label="RandomForest")

grid_search.grid_scores_是返回网格搜索的各个参数的得分

我们看看ss的内容

我们通过map函数去提取parameters的n_estimators的值,并写到ss的n_estimators列中。

然后我们把ss[‘n_estimators’]作为x,ss[‘mean_validation_score’]作为y,画图看看准确率的变化。

我们看到70后就平稳了,那我们看看前面那一段。

可以看出来n_estimators在40-50之间是最好的,也是稳定的。

最终,我们确定是随机森林的n_estimators=40就是我们最优的模型了。
我们看看n_estimators=40的时候,模型是怎么样的。

RandomForestClassifier(bootstrap=True, class_weight=None, 
            criterion='gini',max_leaf_nodes=None,
            max_depth=None, max_features='auto', 
            min_impurity_decrease=0.0, min_impurity_split=None,
            min_samples_leaf=1, min_samples_split=2,
            min_weight_fraction_leaf=0.0, n_estimators=40, n_jobs=1,
            oob_score=False, random_state=0, verbose=0, warm_start=False)

还可以从里面的参数进行进一步调参,就不一一演示了。

四、总结
  1. 比较自动的选择特征值和选择模型及调参,快速有效。
  2. 如果特征变量有几百个到几万个,记录数几万到千万,这样的特征值遍历的性能是不现实的,需要其他方法处理。
  3. 可以扩展到其他模型进行调参。
  4. 特征值的选择只用了logistic模型,如果用其他模型,最优的特征值可能不一样的。
  5. 其实没有最好的,一定还有更好的,等你来发现。

如果觉得我的文章对您有用,请随意赞赏。您的支持将鼓励我继续创作!

发表评论

电子邮件地址不会被公开。 必填项已用*标注