XGBoost
---> 1+正则化 2+二阶导数 ---> 损失函数(i=1:N --> j=1:T) ---> 叶子结点形式wj求导得到树结构固定情况下,最佳loss ---> 如何找到树结构？----> 贪心算法，针对每个叶子结点，考察两个点---> 1.是否分裂（增益指标） 2.基于什么分裂？（遍历分裂特征） ---> 暴力寻找 O(dx|d|) --> 通过分桶近似寻找 ---> 根据分桶的时机可以分为:local global分桶 全局模式会构造更多的候选拆分点。而局部模式会更适合构建更深的树。 ---> 分桶算法：不是简单的等频等宽，而是基于hi分布的等宽
---> 缺失值算法，升序从左到右 + 降序从右到左，看哪种切分score最大。测试集合出现，训练集没有出现的默认分到左子树。

---> 系统设计：1.pre_sort(可以并行找切分点) 2.cache-aware[+thread] 3.out-of-core[+thread]