?

Log in

No account? Create an account
(no subject)
oftoper

Лассо-регрессия. Критерий качества плюс сумма модулей коэффициентов модели, умноженная на лямбда.

Гребневая регрессия (Ридж, Хребтовая). Критерий качества плюс сумма квадратов коэффициентов модели, умноженная на лямбда.


(no subject)
oftoper

Закон повторного логарифма —                                         

https://ru.wikipedia.org/wiki/Закон_повторного_логарифма 


(no subject)
oftoper

K-mean — кластеризация

Knn — распознавание

и то и то — виды классификации


(no subject)
oftoper

Yi — иногда в английской литературе называют «labels» 


(no subject)
oftoper

Условие регуляризации нужно для контроля сложности модели, чтобы избежать переобучения.

Выбор между сложностью и предсказательной силой модели: bias-variance tradeoff (tradeoff — сделка, компромисс)


(no subject)
oftoper

В XGBoost чаще всего используют ансамбли деревьев. Ансамбль состоит из набора CART-деревьев.

CART отличается от решающего дерева. В решающих деревьях лист содержит только решающее значение (decision value). В CART с каждым листом ассоциируется реальная оценка (score, prediction score).

Это дает нам большие возможности по интерпретации. Также, благодаря этому, появляются возможности для строгого, унифицированного подхода к оптимизации.



(no subject)
oftoper

random forest и boosted trees — это одна и та же модель, по большому счету. Разница состоит в том, как мы их тренируем.


(no subject)
oftoper

Функция потерь Хубера, Huber Loss, см Википедию.


(no subject)
oftoper

GBM. Могут быть GLMBoost и GAMBoost как усиление GAM-моделей.

Также есть CoxBoost для кривых дожития.

Rankboost  и LambdaMart для ранжирования