Стэкинг. Берем классификатор, с его помощью предсказываем значения и добавляем их к исходным данным.
Если прогнозируемая переменная У — это фактор, значит имеем задачу распознавания. Фактор можно объявлять.
Бутстрэп — генерация повторных выборок из исходного набора (2/3), число выбираемых предикторов также можно брать не полным.
Бэггинг — bootstrap aggregating коллективный прогноз моделей, которые построена на основе бутстрэп выборок.
Бустинг — ансамбль моделей, где следующая модель строится на остатках предыдущих.
Состоятельный метод: при росте n результаты предсказаний сходятся с априори лучшим байесовским классификатором, который есть, если мы все знаем о совместном распределении Х и У.
Подобная сходимость доказана для методов К-го ближайшего соседа и нейронных сетей. К растет с ростом n, как ln n.