ML(4.1): R C4.5

决策树模型中最为流行的是C4.5算法, 该类算法70年代末，J Ross Quinlan提出ID3算法，此算法的目的在于减少树的深度。但是忽略了叶子数目的研究。1993年，Quinlan本人以ID3算法为基础研究出C4.5/C5.0算法，C4.5算法在ID3算法的基础上进行了改进，对于预测变量的缺值处理、剪枝技术、派生规则等方面作了较大的改进，既适合于分类问题，又适合于回归问题。在R包中，有如下的算法包可完成C4.5 分类计算，如下，分别以鸢尾花数据集为例进行验证

partykit::ctree
RWeka::J48
C50:C5.0
总结及对比分析

partykit::ctree

所需安装的R包如下：

install.packages("RWeka")

install.packages("party")

install.packages("partykit")

数据集iris包含五个指标萼片长度、萼片宽度、花瓣长度、花瓣宽度、三种花类型, 建立模型

set.seed(1234)

#从iris数据集中随机抽70%定义为训练数据集，30%为测试数据集

ind <- sample(2, nrow(iris), replace=TRUE, prob=c(0.7, 0.3))

trainData <- iris[ind==1,]

testData <- iris[ind==2,]

library(party)

#建立决策树模型预测花的种类

myFormula <- Species ~ Sepal.Length + Sepal.Width + Petal.Length + Petal.Width

iris_ctree <- ctree(myFormula, data=trainData)

# 查看预测的结果

table(predict(iris_ctree), trainData$Species)

结果如下：

> table(predict(iris_ctree), trainData$Species)

             setosa versicolor virginica

  setosa         40          0         0

  versicolor      0         37         3

  virginica       0          1        31

对照数据结构看决策图

> #输出决策树图

> head(trainData,10)

   Sepal.Length Sepal.Width Petal.Length Petal.Width Species

1           5.1         3.5          1.4         0.2  setosa

2           4.9         3.0          1.4         0.2  setosa

3           4.7         3.2          1.3         0.2  setosa

4           4.6         3.1          1.5         0.2  setosa

6           5.4         3.9          1.7         0.4  setosa

7           4.6         3.4          1.4         0.3  setosa

8           5.0         3.4          1.5         0.2  setosa

9           4.4         2.9          1.4         0.2  setosa

10          4.9         3.1          1.5         0.1  setosa

11          5.4         3.7          1.5         0.2  setosa

> plot(iris_ctree)

输出结果图如下：

对测试集进行预测

> testPred <- predict(iris_ctree, newdata = testData)

> table(testPred, testData$Species)

testPred     setosa versicolor virginica

  setosa         10          0         0

  versicolor      0         12         2

  virginica       0          0        14

在测试集上结果看模型有较好的泛化能力

RWeka::J48

RWeka包在上例已经安装，测试及训练数据见上例

library(RWeka)

library(party)

#训练与测试样本见上例

m1<-J48(Species~.,data=trainData)

table(trainData$Species,predict(m1))

plot(m1)

m1结果如下：

预测结果

> testPred <- predict(m1, newdata = testData)

> table(testPred, testData$Species)

testPred     setosa versicolor virginica

  setosa         10          0         0

  versicolor      0         12         1

  virginica       0          0        15

从结果上看，貌似比ctree训练算法稍强点, 需大的数据来深入对比

C50:C5.0

C5.0 是Ross Quinlan 1998年提出来的，对C4.5做了很多改进，目前他是作为商业机密在售卖。该算法引入了Boosting的算法框架，比前面提到的算法性能更快，对内存的使用更有效，决策树更小等等。更详细的请访问他的个人主页查阅文章http://www.rulequest.com/see5-unix.html和http://rulequest.com/download.html%20

用法：C5.0(formula, data, weights, subset, na.action = na.pass, ...)

> library(C50)

> #ls("package:C50")

> #训练与测试样本见上例

> m_c50 <- C5.0(Species ~., data = trainData)

> C5imp(m_c50)

             Overall

Petal.Length  100.00

Petal.Width    64.29

Sepal.Length    0.00

Sepal.Width     0.00

plot(m_c50) 输出图结果如下：

从图上可发现建树差异，预测结果正确率：

> c50_pred <- predict(m_c50,newdata = testData)

> table(c50_pred, testData$Species)

c50_pred     setosa versicolor virginica

  setosa         10          0         0

  versicolor      0         12         2

  virginica       0          0        14

总结及对比分析

上几节仅是对不同包的算法进行了介绍，数据量太小，比较不出在资源占用、正确率方面的差异，下面以较大数据的情况，对这三个包的结果进行对比分析，正确率如下：

其中C50算法中提供的函数，最重要的参数如下：

> myFormula <- Type ~.

> m.C50 <- C5.0(myFormula, data = mytrain)

> C5imp(m.C50)

   Overall

DV  100.00

LV   66.07

LT   51.07

对比资源占用如下图：
对比正确率

巴特西

ML(4.1): R C4.5

最新文章

热门文章