Как проверить равномерность распределения

3.5. Проверка гипотезы о равномерном распределении выборки

Для того, чтобы при уровне значимости α, проверить гипотезу о равномерном распределении выборочной совокупности 2, надо [2]:

Оценить параметры а и b – концов интервала, в котором наблюдались возможные значения случайной величины X, по формулам (28) и (29).

Найти плотность вероятности предполагаемого равномерного распределения по формуле (9).

Определить теоретические частоты по формулам:

; ;

(32)

Найти наблюдаемое значение критерия Пирсона по формуле (30).

Найти критическую точку (;r) по заданному уровню значимости а и числу степеней свободы r. Критическую точку(;r) находят по таблице критических точек распределения (приложение 4)

Принять или не принять гипотезу о равномерном распределении выборочной совокупности 2.

Вычисления для выборки 2 представлены в таблице 14.

Уровень значимости α для проверки гипотезы о равномерном распределении выборочной совокупности 2 выбираем равным 0,05, а число степеней свободы r определяется по формуле r=k-3.

Информационная справка о результатах проверки гипотезы о равномерном распределении выборки 2 представлена в таблице 15.

Проверка гипотезы о равномерном распределении выборки 2

Нулевая гипотеза H₀: выборочная совокупность 2 имеет равномерное распределение с параметрами a=7,16 и b=32,30.

Число степеней свободы: k=r-3=8-3=5

Уровень значимости a=0,05

Критическая точка=11,1

Наблюдаемое значение критерия Пирсона =3,25

Критическая область (;+∞): (11,1; +∞)

Область принятия гипотезы (0; ):(0;11,1)

Условие принятия H₀ (0; ): 3,25(0;11,1)

Условие непринятия H₀ (;+∞): 3,25(11,1; +∞)

Результат проверки гипотезы: выборочная совокупность 2 имеет равномерное распределение с параметрами a=7,16 и b=32,30

3.6. Проверка гипотезы о показательном распределении выборки

Для того, чтобы при уровне значимости , проверить гипотезу о показательном распределении выборочной совокупности 3, надо:

Принять в качестве оценки параметра λ показательного распределения величину, обратную выборочной средней: .

Найти вероятности попадания случайной величины X в частичные интервалы (,) по формуле (11).

Определить теоретические частоты по формуле (31).

Найти наблюдаемое значение критерия Пирсона по формуле (30).

Найти критическую точку (;r) по заданному уровню значимостии числу степеней свободы r. Критическую точку(;r) находят по таблице критических точек распределения (приложение 4)

Принять или не принять гипотезу о равномерном распределении выборочной совокупности 3.

Вычисления для выборки 3 представлены в таблице 16.

Проверка статистических гипотез: о равномерности генерального распределения, равенстве дисперсий, равенстве нулю коэффициента корреляции, равенстве двух долей; ошибки первого и второго рода

Проверка гипотезы о равномерности генерального распределения с помощью критерия хг

В социологических исследованиях нередко возникают ситуации, когда социологу надо знать, можно ли имеющееся у него частотное распределение, отвечающее какому-либо признаку, считать выборочным представлением распределения определенного характера: нормального, равномерного и т.д. Так, многие математические методы требуют (если мы хотим, чтобы применение метода было корректным), чтобы распределение каждого из исходных признаков было нормальным. Выборочное частотное распределение может в какой- то степени быть похожим на нормальное: например, одновершинным, в какой-то степени симметричным и т.д. Можем ли мы считать, что в генеральной совокупности оно нормально? Что его отклонение от нормальности можно объяснить только случайными погрешностями выборки? Ясно, что подобная ситуация очень похожа на описанные выше ситуации, когда мы отвечали на вопросы, подобные только что сформулированным, с помощью проверки статистической гипотезы. Оказывается, что и здесь таким же образом можно найти ответ: математическая статистика предлагает нам соответствующий механизм.

Существует критерий, позволяющий проверять гипотезу о том, что распределение имеет определенный характер 49 . Это уже знакомый нам критерий X 2 . В общем виде он имеет вид:

где О—эмпирические, наблюдаемые, фактические частоты; Е— теоретические, ожидаемые частоты. Теоретические частоты — это те, которые мы видели бы (ожидали), если бы распределение имело характер, отвечающий проверяемой гипотезе.

Поясним сказанное на примере проверки гипотезы о равномерности генерального распределения. Пусть рассматриваемый признак принимает значения

а фактически наблюдаемые (выборочные) частоты встречаемости этих значений равны, соответственно,

Отвечающие им теоретические частоты будут выглядеть так:

Интересующий нас критерий имеет вид:

Другими словами, отличие критерия, позволяющего нам проверить гипотезу отом, что генеральное распределение является равномерным, от критерия X 2 , который мы использовали для проверки гипотезы об отсутствии связи, состоит в следующем:

ПРОВЕРКА РАВНОМЕРНОСТИ НА ИНТЕРВАЛЕ [а, b]

Все рассматриваемые в руководстве критерии проверки равномерности изложены для стандартного случая проверки равномерности на интервале [0, 1]. И после формирования по выборке Х₁,Х₂. Х_П вариационного ряда 0 а —

мые в критериях, принимают вид U, = —-, i — l,n , U₀ = 0, U , = 1.

Весь дальнейший порядок применения рассматриваемых критериев проверки равномерности остаётся неизменным (как и на [0, 1]).

ПРОВЕРКА СЛОЖНЫХ ГИПОТЕЗ О РАВНОМЕРНОСТИ ЗАКОНА

В общем случае при проверке гипотезы о принадлежности наблюдаемой случайной величины равномерному закону простая проверяемая гипотеза имеет вид Н₀: F(x) = ———, хе[а,6].где а и b известны.

Проверяемая гипотеза будет сложной, если по данной выборке находится и область определения равномерной случайной величины, то есть находятся оценки параметра сдвига а и параметра масштаба b-а .

Проверка корректности А/Б тестов

Хабр, привет! Сегодня поговорим о том, что такое корректность статистических критериев в контексте А/Б тестирования. Узнаем, как проверить, является критерий корректным или нет. Разберём пример, в котором тест Стьюдента не работает.

Меня зовут Коля, я работаю аналитиком данных в X5 Tech. Мы с Сашей продолжаем писать серию статей по А/Б тестированию, это наша третья статья. Первые две можно посмотреть тут:

Корректный статистический критерий

В А/Б тестировании при проверке гипотез с помощью статистических критериев можно совершить одну из двух ошибок:

ошибку первого рода – отклонить нулевую гипотезу, когда на самом деле она верна. То есть сказать, что эффект есть, хотя на самом деле его нет;

ошибку второго рода – не отклонить нулевую гипотезу, когда на самом деле она неверна. То есть сказать, что эффекта нет, хотя на самом деле он есть.

Совсем не ошибаться нельзя. Чтобы получить на 100% достоверные результаты, нужно бесконечно много данных. На практике получить столько данных затруднительно. Если совсем не ошибаться нельзя, то хотелось бы ошибаться не слишком часто и контролировать вероятности ошибок.

В статистике ошибка первого рода считается более важной. Поэтому обычно фиксируют допустимую вероятность ошибки первого рода, а затем пытаются минимизировать вероятность ошибки второго рода.

Предположим, мы решили, что допустимые вероятности ошибок первого и второго рода равны 0.1 и 0.2 соответственно. Будем называть статистический критерий корректным, если его вероятности ошибок первого и второго рода равны допустимым вероятностям ошибок первого и второго рода соответственно.

Как сделать критерий, в котором вероятности ошибок будут равны допустимым вероятностям ошибок?

Вероятность ошибки первого рода по определению равна уровню значимости критерия. Если уровень значимости положить равным допустимой вероятности ошибки первого рода, то вероятность ошибки первого рода должна стать равной допустимой вероятности ошибки первого рода.

Вероятность ошибки второго рода можно подогнать под желаемое значение, меняя размер групп или снижая дисперсию в данных. Чем больше размер групп и чем ниже дисперсия, тем меньше вероятность ошибки второго рода. Для некоторых гипотез есть готовые формулы оценки размера групп, при которых достигаются заданные вероятности ошибок.

Например, формула оценки необходимого размера групп для гипотезы о равенстве средних:

где и – допустимые вероятности ошибок первого и второго рода, – ожидаемый эффект (на сколько изменится среднее), и – стандартные отклонения случайных величин в контрольной и экспериментальной группах.

Проверка корректности

Допустим, мы работаем в онлайн-магазине с доставкой. Хотим исследовать, как новый алгоритм ранжирования товаров на сайте влияет на среднюю выручку с покупателя за неделю. Продолжительность эксперимента – одна неделя. Ожидаемый эффект равен +100 рублей. Допустимая вероятность ошибки первого рода равна 0.1, второго рода – 0.2.

Оценим необходимый размер групп по формуле:

Чтобы проверить корректность, нужно знать природу случайных величин, с которыми мы работаем. В этом нам помогут исторические данные. Представьте, что мы перенеслись в прошлое на несколько недель назад и запустили эксперимент с таким же дизайном, как мы планировали запустить его сейчас. Дизайн – это совокупность параметров эксперимента, таких как: целевая метрика, допустимые вероятности ошибок первого и второго рода, размеры групп и продолжительность эксперимента, техники снижения дисперсии и т.д.

Так как это было в прошлом, мы знаем, какие покупки совершили пользователи, можем вычислить метрики и оценить значимость отличий. Кроме того, мы знаем, что эффекта на самом деле не было, так как в то время эксперимент на самом деле не запускался. Если значимые отличия были найдены, то мы совершили ошибку первого рода. Иначе получили правильный результат.

Далее нужно повторить эту процедуру с мысленным запуском эксперимента в прошлом на разных группах и временных интервалах много раз, например, 1000.

После этого можно посчитать долю экспериментов, в которых была совершена ошибка. Это будет точечная оценка вероятности ошибки первого рода.

Оценку вероятности ошибки второго рода можно получить аналогичным способом. Единственное отличие состоит в том, что каждый раз нужно искусственно добавлять ожидаемый эффект в данные экспериментальной группы. В этих экспериментах эффект на самом деле есть, так как мы сами его добавили. Если значимых отличий не будет найдено – это ошибка второго рода. Проведя 1000 экспериментов и посчитав долю ошибок второго рода, получим точечную оценку вероятности ошибки второго рода.

Посмотрим, как оценить вероятности ошибок в коде. С помощью численных синтетических А/А и А/Б экспериментов оценим вероятности ошибок и построим доверительные интервалы:

Оценки вероятностей ошибок примерно равны 0.1 и 0.2, как и должно быть. Всё верно, тест Стьюдента на этих данных работает корректно.

Распределение p-value

Выше рассмотрели случай, когда тест контролирует вероятность ошибки первого рода при фиксированном уровне значимости. Если решим изменить уровень значимости с 0.1 на 0.01, будет ли тест контролировать вероятность ошибки первого рода? Было бы хорошо, если тест контролировал вероятность ошибки первого рода при любом заданном уровне значимости. Формально это можно записать так:

Для любого выполняется .

Заметим, что в левой части равенства записано выражение для функции распределения p-value. Из равенства следует, что функция распределения p-value в точке X равна X для любого X от 0 до 1. Эта функция распределения является функцией распределения равномерного распределения от 0 до 1. Мы только что показали, что статистический критерий контролирует вероятность ошибки первого рода на заданном уровне для любого уровня значимости тогда и только тогда, когда при верности нулевой гипотезы p-value распределено равномерно от 0 до 1.

При верности нулевой гипотезы p-value должно быть распределено равномерно. А как должно быть распределено p-value при верности альтернативной гипотезы? Из условия для вероятности ошибки второго рода следует, что .

Получается, график функции распределения p-value при верности альтернативной гипотезы должен проходить через точку , где и – допустимые вероятности ошибок конкретного эксперимента.

Проверим, как распределено p-value в численном эксперименте. Построим эмпирические функции распределения p-value:

P-value для синтетических А/А тестах действительно оказалось распределено равномерно от 0 до 1, а для синтетических А/Б тестов проходит через точку .

Кроме оценок распределений на графике дополнительно построены четыре пунктирные линии:

диагональная из точки [0, 0] в точку [1, 1] – это функция распределения равномерного распределения на отрезке от 0 до 1, по ней можно визуально оценивать равномерность распределения p-value;

вертикальная линия с – пороговое значение p-value, по которому определяем отвергать нулевую гипотезу или нет. Проекция на ось ординат точки пересечения вертикальной линии с функцией распределения p-value для А/А тестов – это вероятность ошибки первого рода. Проекция точки пересечения вертикальной линии с функцией распределения p-value для А/Б тестов – это мощность теста (мощность = 1 — ).

две горизонтальные линии – проекции на ось ординат точки пересечения вертикальной линии с функцией распределения p-value для А/А и А/Б тестов.

График с оценками распределения p-value для синтетических А/А и А/Б тестов позволяет проверить корректность теста для любого значения уровня значимости.

Некорректный критерий

Выше рассмотрели пример, когда тест Стьюдента оказался корректным критерием для случайных данных из нормального распределения. Может быть, все критерии всегда работаю корректно, и нет смысла каждый раз проверять вероятности ошибок?

Покажем, что это не так. Немного изменим рассмотренный ранее пример, чтобы продемонстрировать некорректную работу критерия. Допустим, мы решили увеличить продолжительность эксперимента до 2-х недель. Для каждого пользователя будем вычислять стоимость покупок за первую неделю и стоимость покупок за второю неделю. Полученные стоимости будем передавать в тест Стьюдента для проверки значимости отличий. Положим, что поведение пользователей повторяется от недели к неделе, и стоимости покупок одного пользователя совпадают.

Получили оценку вероятности ошибки первого рода около 0.25, что сильно больше уровня значимости 0.1. На графике видно, что распределение p-value для синтетических А/А тестов не равномерно, оно отклоняется от диагонали. В этом примере тест Стьюдента работает некорректно, так как данные зависимые (стоимости покупок одного человека зависимы). Если бы мы сразу не догадались про зависимость данных, то оценка вероятностей ошибок помогла бы нам понять, что такой тест некорректен.

Итоги

Мы обсудили, что такое корректность статистического теста, посмотрели, как оценить вероятности ошибок на исторических данных и привели пример некорректной работы критерия.

корректный критерий – это критерий, у которого вероятности ошибок первого и второго рода равны допустимым вероятностям ошибок первого и второго рода соответственно;

чтобы критерий контролировал вероятность ошибки первого рода для любого уровня значимости, необходимо и достаточно, чтобы p-value при верности нулевой гипотезы было распределено равномерно от 0 до 1.