代码运行结果为：

4 完整AdaBoost算法的实现

伪代码：

对每次迭代：

    利用buildStump（）函数找到最佳的单层决策树

    将最佳的单层决策树加入到单层决策树数组

    计算alpha

    计算新的权重向量D

    更新累计类别估计值

    如果错误率等于0.0，则退出循环

from math import *
# import math
from numpy import *
import decimaldef adaBoostTrainDS(dataArr,classLabels,numIt=40):weakClassArr=[]m=np.shape(dataArr)[0]D=np.mat(np.ones((m,1))/m)aggClassEst=np.mat(np.zeros((m,1)))# 进入循环for i in range(numIt):bestStump,error,classEst=buildStump(dataArr,classLabels,D)print("D:",D.T)alpha=float(0.5*log((1.0-error)/max(error,1e-16)))bestStump['alpha']=alphaweakClassArr.append(bestStump)print("classEst:",classEst.T)expon=np.multiply(-1*alpha*np.mat(classLabels).T,classEst)D=np.multiply(D,exp(expon))D=D/D.sum()aggClassEst += alpha*classEstprint("aggClassEst:",aggClassEst.T)aggErrors=np.multiply(np.sign(aggClassEst)!=np.mat(classLabels).T,np.ones((m,1)))errorRate=aggErrors.sum()/mprint("total error:",errorRate,"/n")# 直到训练错误率为0或者弱分类器的数目达到指定值if errorRate==0.0:breakreturn weakClassArr# return weakClassArr,aggClassEstclassifierArr=adaBoostTrainDS(datMat,classLabels,9)

 代码运行结果为：

5 测试算法：基于AdaBoost的分类

# AdaBoost分类函数
# 利用训练出的多个弱分类器进行分类#           待分类样例  弱分类器组成的数组
def adaClassify(datToClass,classifierArr):# 先转换为矩阵、dataMatrix=np.mat(datToClass)# 得到待分类样例的个数m=shape(dataMatrix)[0]# 构建一个0列向量aggClassEst=np.mat(np.zeros((m,1)))# 遍历所有弱分类器for i in range(len(classifierArr)):# 得到每个分类器得到一个分类的估计值classEst=stumpClassify(dataMatrix,classifierArr[i]['dim'],classifierArr[i]['thresh'],classifierArr[i]['ineq'])# 得到分类结果aggClassEst+=classifierArr[i]['alpha']*classEstprint (aggClassEst)# sign（）函数取数字前的符号（正负号）输出结果为1，0，-1return sign(aggClassEst)adaClassify([0,0],classifierArr)

代码运行结果：

6 示例：在一个数据集上应用AdaBoost

示例：在一个难数据集上的AdaBoost应用

①收集数据：提供的文本文件

②准备数据：确保类别标签是1和-1，而不是1和0

③分析数据：手工检查数据

④训练算法：在数据上，利用AdaBoostTrainDS（）函数训练处一系列的分类器

⑤测试算法：我们拥有两个数据集。在不采用随机抽样的方法下，我们就会对AdaBoost和logistic回归的结果进行完全对等的比较

⑥使用算法：观察钙离子上的错误率。不过，也可以构建一个WEb网站，让驯马师输入马的症状然后预测马是否会立即死去。

# 自适应数据加载函数
def loadDataSet(fileName):numFeat=len(open(fileName).readline().split('\t'))dataMat=[]labelMat=[]fr=open(fileName)for line in fr.readlines():lineArr=[]curLine=line.strip().split('\t')for i in range(numFeat-1):lineArr.append(float(curLine[i]))dataMat.append(lineArr)labelMat.append(float(curLine[-1]))return dataMat,labelMatdatArr,labelArr=loadDataSet('horseColicTraining2.txt')
classifierArray=adaBoostTrainDS(datArr,labelArr,10)

代码运行结果：

testArr,testLabelArr=loadDataSet('horseColicTest2.txt')
prediction10=adaClassify(testArr,classifierArray)
shape(prediction10)

代码运行结果：

 查看分错的样例个数：

errArr=np.mat(np.ones((67,1)))
# 分错的样例个数
errArr[prediction10!=np.mat(testLabelArr).T].sum()

代码运行结果：

7 非均衡分类问题

在之前的所有分类介绍中，我们都假设所有类别的分类代价是一样的。在这里，我们将会考察一种新的分类器性能度量方法，并通过图像技术来对上述非均衡问题下不同分类器的性能进行可视化处理。

 7.1 其他分类性能度量指标：正确率、召回率及ROC曲线

正确率：预测为正例的样本中的真正正例的比例

召回率：预测为正例的真实比例占所有真实正例的比例

ROC曲线：ROC代表接收者操作特征；横轴是伪正例的比例（假阳率），纵轴是真正例的比例（真阳率）。ROC曲线给出饿是当阙值变化时假阳率和帧阳率的变化情况。虚线给出的是随机猜测的结果曲线。ROC曲线不但可以用于比较分类器，还可以基于成本效益分析来做出决策。在理想的情况下，最佳的分类器应该尽量地处于左上角，这就意味着在假阳率很低地情况下同时获得了很高地正阳率。对于不同ROC曲线进行比较地一个指标是曲线下地面积AUC，AUC给出地是分类器地平均性能值，一个完美分类器的AUC 为1.0。

# ROC曲线的绘制及AUction计算函数
#          分类器的预测强度 类别标签
def plotROC(predStrengths,classLabels):import matplotlib.pyplot as plt# 保存绘制光标的位置cur=(1.0,1.0)# 用于计算AUC的值ySum=0.0numPosClas=sum(array(classLabels)==1.0)# 得到步长yStep=1/float(numPosClas)xStep=1/float(len(classLabels)-numPosClas)sortedIndicies=predStrengths.argsort()fig=plt.figure()fig.clf()ax=plt.subplot(111)for index in sortedIndicies.tolist()[0]:if classLabels[index]==1.0:delX=0delY=yStepelse:delX=xStepdelY=0# 对小矩形面积进行累加ySum+=cur[1]# 绘制实线ax.plot([cur[0],cur[0]-delX],[cur[1],cur[1]-delY],c='b')cur=(cur[0]-delX,cur[1]-delY)# 绘制虚线ax.plot([0,1],[0,1],'b--')plt.xlabel('False Positive Rate')plt.ylabel('True Positive Rate')plt.title('ROC curve for AdaBoost  Horse Colic Detection System')ax.axis([0,1,0,1])plt.show()print("the Area Under the Curve is :",ySum*xStep)def adaBoostTrainDS(dataArr,classLabels,numIt=40):weakClassArr=[]m=np.shape(dataArr)[0]D=np.mat(np.ones((m,1))/m)aggClassEst=np.mat(np.zeros((m,1)))# 进入循环for i in range(numIt):bestStump,error,classEst=buildStump(dataArr,classLabels,D)print("D:",D.T)alpha=float(0.5*log((1.0-error)/max(error,1e-16)))bestStump['alpha']=alphaweakClassArr.append(bestStump)print("classEst:",classEst.T)expon=np.multiply(-1*alpha*np.mat(classLabels).T,classEst)D=np.multiply(D,exp(expon))D=D/D.sum()aggClassEst += alpha*classEstprint("aggClassEst:",aggClassEst.T)aggErrors=np.multiply(np.sign(aggClassEst)!=np.mat(classLabels).T,np.ones((m,1)))errorRate=aggErrors.sum()/mprint("total error:",errorRate,"/n")# 直到训练错误率为0或者弱分类器的数目达到指定值if errorRate==0.0:break# return weakClassArrreturn weakClassArr,aggClassEstdatArr,albelArr=loadDataSet('horseColicTraining2.txt')
classifierArray,aggClassEst=adaBoostTrainDS(datArr,labelArr,10)
plotROC(aggClassEst.T,labelArr)

代码运行结果：

7.2 基于代价函数的分类器决策控制

除了调节分类器的阙值之外，我们还有一些其他可以用于处理非均匀代价问题的方法，其中一种称为代价敏感的学习。

7.3 处理非均衡问题的数据抽样方法

对分类器的训练数据进行改造，这可以通过欠抽样和过抽样来实现。过抽样意味着可以复制样例，而欠抽样则意味着可能会删除样例。