决策树
决策树思想的来源非常朴素，程序设计中的条件分支结构就是if-then结构，最早的决策树就是利用这类结构分割数据的一种分类学习方法，其原理是基于信息熵和信息增益。
信息熵的定义
H的专业术语称之为信息熵，单位为比特。
信息和消除不确定性是相联系的,当得到的额外信息越多的话，那么猜测的代价越小，当得知某个特征之后，能够减少的不确定性大小，越大可以认为这个特征很重要。要衡量减少的不确定性大小，需引入信息增益（决策树的划分依据之一）：
特征A对训练数据集D的信息增益g(D,A),定义为集合D的信息熵H(D)与特征A给定条件下D的信息条件熵H(D|A)之差，即公式为：
信息熵的计算：
条件熵的计算：
CK表示属于某个类别的样本数，信息增益表示得知特征X的信息而息的不确定性减少的程度使得类Y的信息熵减少的程度
决策树的三种算法实现：
ID3 –>信息增益最大的准则
C4.5–>信息增益比最大的准则
CART分类树–>基尼系数最小的准则，在sklearn中可以选择划分的默认原则，划分更加细致
决策树算法在sklearn中的API：
class sklearn.tree.DecisionTreeClassifier(criterion=’gini’, max_depth=None,random_state=None)
决策树分类器
criterion:默认是’gini’系数，也可以选择信息增益的熵’entropy’
max_depth:树的深度大小
random_state:随机数种子
示例：泰坦尼克号乘客生存预测（泰坦尼克号数据）
在泰坦尼克号数据描述泰坦尼克号上的个别乘客的生存状态。数据集中的特征是票的类别、存活、乘坐班、年龄、登陆、home.dest、房间、票、船和性别。
1、乘坐班是指乘客班（1，2，3），是社会经济阶层的代表。
2、其中age数据存在缺失。
分析
1. 选择认为重要的几个特征 [‘pclass’, ‘age’, ‘sex’]
2. 填充缺失值
3. 特征中出现类别符号，需要进行one-hot编码处理(DictVectorizer)
4. x.to_dict(orient=”records”) 需要将数组特征转换成字典数据
5. 数据集划分
6. 决策树分类预测
预测结果：
当树的深度为5时，准确率约为0.837；当树的深度为6时，准确率约为0.857；当树的深度为10时，准确率约为0.802，树的深度能够直接影响到预测的准确率
保存树的结构
sklearn.tree.export_graphviz() 该函数能够导出DOT格式
tree.export_graphviz(estimator,out_file=’tree.dot’,feature_names=[‘’,’’])
完整代码实现：
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier
from sklearn.feature_extraction.dict_vectorizer import DictVectorizer
from sklearn.tree import export_graphviz
def decisioncls():
"""
决策树进行乘客生存预测
:return:
"""
# 1、获取数据
titan = pd.read_csv("http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt")
# 2、数据的处理
x = titan[['pclass', 'age', 'sex']]
y = titan['survived']
# 缺失值需要处理，将特征当中有类别的这些特征进行字典特征抽取
x['age'].fillna(x['age'].mean(), inplace=True)
# 对于x转换成字典数据x.to_dict(orient="records")
# [{"pclass": "1st", "age": 29.00, "sex": "female"}, {}]
dict = DictVectorizer(sparse=False)
x = dict.fit_transform(x.to_dict(orient="records"))
print(dict.get_feature_names())
# 分割训练集合测试集
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.3)
# 进行决策树的建立和预测
dc = DecisionTreeClassifier(max_depth=10)
dc.fit(x_train, y_train)
print("预测的准确率为：", dc.score(x_test, y_test))
# 保存树到dot文件
export_graphviz(
dc, out_file="./tree.dot",
feature_names=[
'age', 'pclass=1st',
'pclass=2nd', 'pclass=3rd',
'女性', '男性'
]
)
return None
decisioncls()
生成的tree.dot文件：
安装graphviz，将dot文件转换为pdf、png：
# 安装graphviz
sudo apt-get install graphviz
# 将graphviz转化为png
dot -Tpng tree.dot -o tree.png
生成的tree.png决策图：