Category: наука

Category was added automatically. Read all entries about "наука".

(no subject)

Лассо-регрессия. Критерий качества плюс сумма модулей коэффициентов модели, умноженная на лямбда.

Гребневая регрессия (Ридж, Хребтовая). Критерий качества плюс сумма квадратов коэффициентов модели, умноженная на лямбда.

(no subject)

CART для регрессии фактически равен приближению некоторой функции с помощью кусочно-постоянной функции. Хорошо работает с явно нелинейными зависимостями.

Еще один класс задач для CART — время ожидания, например до поломки автомобиля.

Множественное тестирование гипотез

При проведении множества тестов есть проблема, что при заданном уровне альфа некоторые гипотезы окажутся ложными просто в силу статистики. Например, при альфа в 5% и проведении 20 экспериментов, в среднем один должен давать ложные результаты. То же и с p-уровнем.

Чтобы избежать этого, используют специальные методы измерения ошибок и статистические способы их минимизации.

Нулевая гипотеза отражает статус-кво и предполагается верной.

р-уровень — это вероятность в рамках нулевой гипотезы получить наблюдение более экстремальное, чем статистика теста в направлении альтернативной гипотезы.

Низкий р-уровень (например, меньше заданной альфа) говорит, что данные, полученные в ходе эксперимента редки и необычны и ближе к альтернативной гипотезе, нежели к нулевой. Поэтому нулевую гипотезу надо отклонить.

Один из методов коррекции результатов множественного тестирования — коррекция Бонферрони. Альфа делится на количество тестов и отклоняются только те нулевые гипотезы, для которых р-уровень меньше полученного частного от деления.

Другой, более популярный метод — метод Бенджамина-Хогберга. Р-уровни выстраиваются по величине и над ними делаются еще некоторые преобразования.

Еще можно корректировать не уровень прохода р-увровней, а сами р-уровни.