1. 定义与目标

决策树是一种监督机器学习算法，用于对分类或回归问题进行预测。它通过递归地划分数据来构建一棵树状结构，每个节点代表一个决策，叶节点则表示预测结果。回归树是决策树的一种特殊形式，专门用于解决回归问题，即预测连续值。

2. 输入与输出

决策树和回归树的输入都是特征向量和目标值。对于分类问题，目标值是离散的，而对于回归问题，目标值是连续的。决策树输出一个分类标签，而回归树输出一个连续值。

3. 节点决策

决策树和回归树中的每个节点都根据输入特征的一个条件进行决策。对于决策树，条件通常是一个二元比较，例如“特征 A 是否大于阈值？”。对于回归树，条件可以是一个更复杂的表达式，例如“特征 A 和 B 的线性组合是否大于阈值？”。

4. 划分策略

决策树和回归树使用不同的划分策略来选择最佳决策条件。决策树使用信息增益或基尼不纯度等指标来选择最大化信息或减少杂质的划分。回归树通常使用方差或均方误差等度量来选择最小化目标值变异或误差的划分。

5. 剪枝

决策树和回归树在构建过程中容易过度拟合数据。剪枝是一种技术，它通过移除不重要的分支来简化树的结构，从而减少过拟合。决策树使用后剪枝或预剪枝技术，而回归树通常使用成本复杂度剪枝。

6. 优点与缺点

决策树：

优点：易于解释、非参数化、处理缺失值和类别型数据良好。

缺点：容易过拟合、对噪声数据敏感、对特征缩放敏感。

回归树：

优点：易于解释、处理连续值良好。

缺点：解释性较差、容易过拟合、对噪声数据敏感。

7. 应用场景

决策树和回归树广泛应用于各种领域，包括：

分类：客户细分、医疗诊断、欺诈检测。

回归：预测房屋价格、销售额预测、库存优化。

特征工程：识别重要特征、生成新特征。

规则提取：从树结构中提取决策规则。