轻型GBM

LightGBM是lightgradient-boostingmachine的缩写，是一个免费和开源的分布式梯度增强机器学习框架，最初由微软开发。它以决策树算法为基础，用于排名、分类和其他机器学习任务。开发重点是性能和可扩展性。

LightGBM框架支持不同的算法，包括GBT、GBDT、GBRT、GBM、MART和RF。LightGBM有很多XGBoost的优点，包括稀疏优化、并行训练、多损失函数、正则化、袋化和早期停止。两者之间的一个主要区别在于树的构建。LightGBM并不像其他大多数实施方案那样逐级生长树--逐行生长。相反，它是按叶子生长的。它选择了它认为会产生xxx损失的叶子。此外，LightGBM不使用广泛使用的基于排序的决策树学习算法，该算法在排序的特征值上搜索最佳分割点，就像XGBoost或其他实施方案那样。相反，LightGBM实现了一种高度优化的基于直方图的决策树学习算法，在效率和内存消耗方面都有很大的优势。LightGBM算法采用了两种新技术，即基于梯度的单边采样（GOSS）和独家特征捆绑（EFB），这使得该算法在保持高精确度的同时运行得更快。LightGBM在Linux、Windows和macOS上运行，支持C++、Python、R和C#。源代码在MIT许可下授权，可在GitHub上获取。

基于梯度的单边采样（GOSS）是一种利用GBDT中数据实例没有原生权重这一事实的方法。由于具有不同梯度的数据实例在信息增益的计算中起着不同的作用，具有较大梯度的实例对信息增益的贡献更大。因此，为了保持信息的准确性，GOSS保留了大梯度的实例，随机放弃了小梯度的实例。

排他性特征捆绑（EFB）是一种近乎无损的方法来减少有效特征的数量。在一个稀疏的特征空间中，许多特征几乎是排他性的，这意味着它们很少同时取非零值。一热编码的特征是排他性特征的一个完美例子。EFB将这些特征捆绑起来，降低维度以提高效率，同时保持较高的精度。将排他性特征捆绑成一个单一的特征，称为排他性特征捆绑。