В XGBoost чаще всего используют ансамбли деревьев. Ансамбль состоит из набора CART-деревьев.

CART отличается от решающего дерева. В решающих деревьях лист содержит только решающее значение (decision value). В CART с каждым листом ассоциируется реальная оценка (score, prediction score).

Это дает нам большие возможности по интерпретации. Также, благодаря этому, появляются возможности для строгого, унифицированного подхода к оптимизации.