登录社区云，与社区用户共同成长
邀请您加入社区
集成学习中的组合策略有很多种，今天我们介绍了平均法、加权平均法、投票法和加权投票法。这些策略各有优缺点，选择哪种策略取决于具体的问题和模型的性能。在实际应用中，我们可以通过实验来选择最适合的组合策略，从而提高模型的整体性能。原创作者: wang_yb转载于: https://www.cnblogs.com/wang_yb/p/188738171.【scikit-learn基础】--概述2023-1
背景KS（Kolmogorov–Smirnov）原本用于检验样本分布与理论分布或两个样本分布是否一致。风控建模中，将“好样本”（Good）与“坏样本”（Bad）的模型输出概率看作两组经验分布，用KS度量它们的最大分离程度，从而评估模型的区分度。数学本质令FbadxFbadx与FgoodxFgoodx分别为坏、好样本在阈值xxx下的经验累积分布函数（ECDF），则KSmaxx∣Fbadx−Fg
本文介绍了机器学习中的集成学习方法（随机森林）和线性回归算法。随机森林通过构建多个决策树并采用投票机制提高预测精度，同时降低过拟合风险。线性回归部分详细讲解了损失函数、最小二乘法、梯度下降等核心概念，并对比了不同优化方法（BGD、SGD、MBGD）。文章还探讨了欠拟合/过拟合问题及正则化解决方案（岭回归和Lasso回归），最后简要介绍了逻辑回归和K-means聚类算法。
集成学习（Ensemble Learning）是一种通过结合多个模型的预测结果来提高整体预测性能的技术。常见的集成学习框架有：Bagging、Boosting、Stacking。每种方法都有其独特的优势和适用场景，本文主要介绍 Stacking 算法。
本文系统介绍了决策树与集成学习模型。决策树通过信息增益或基尼不纯度选择最优分裂点，采用递归方式构建，为防止过拟合可使用预剪枝策略。Scikit-learn提供了高效的决策树实现，支持多种优化参数。集成学习分为Bagging（如随机森林）和Boosting（如GBDT）两大流派，前者通过并行投票提升性能，后者通过串行纠错优化结果。以泰坦尼克数据集为例，GBDT在生还预测任务中表现略优于随机森林。实践
集成学习（Ensemble Learning）是一种机器学习方法，通过组合多个模型（通常称为基学习器）来解决同一任务，从而提高整体性能。其核心思想是：“弱者联合成强者”，利用多个简单模型的组合来增强预测的准确性和稳定性。集成学习通过将多个基学习器的结果组合来增强模型性能，适合各种机器学习任务。在实际应用中，应根据任务需求、数据特点和计算资源选择合适的方法（如 Bagging、Boosting 或
Apache Camel支持Gregor Hohpe和Bobby Woolf 撰写的《Enterprise Integration Patterns》一书中的大多数模式。
本研究构建了一个集成自动化机器学习全流程系统，涵盖数据预处理、模型优化、验证解释及部署应用。通过SMOTE平衡处理、Optuna超参数优化和集成学习（Voting/Stacking）构建高性能模型，并采用DCA决策曲线、校准曲线和SHAP/LIME进行深度验证与解释。系统实现了从数据清洗（包括异常值处理、特征筛选）到16种算法的全面评估（ROC曲线、AUC森林图等十多项指标），最终基于Stream
