July 26th, 2018

Множественное тестирование гипотез

При проведении множества тестов есть проблема, что при заданном уровне альфа некоторые гипотезы окажутся ложными просто в силу статистики. Например, при альфа в 5% и проведении 20 экспериментов, в среднем один должен давать ложные результаты. То же и с p-уровнем.

Чтобы избежать этого, используют специальные методы измерения ошибок и статистические способы их минимизации.

Нулевая гипотеза отражает статус-кво и предполагается верной.

р-уровень — это вероятность в рамках нулевой гипотезы получить наблюдение более экстремальное, чем статистика теста в направлении альтернативной гипотезы.

Низкий р-уровень (например, меньше заданной альфа) говорит, что данные, полученные в ходе эксперимента редки и необычны и ближе к альтернативной гипотезе, нежели к нулевой. Поэтому нулевую гипотезу надо отклонить.

Один из методов коррекции результатов множественного тестирования — коррекция Бонферрони. Альфа делится на количество тестов и отклоняются только те нулевые гипотезы, для которых р-уровень меньше полученного частного от деления.

Другой, более популярный метод — метод Бенджамина-Хогберга. Р-уровни выстраиваются по величине и над ними делаются еще некоторые преобразования.

Еще можно корректировать не уровень прохода р-увровней, а сами р-уровни.