Нулевая гипотеза в A/B тесте: как сформулировать H₀ и H₁ в 2026
Нулевая и альтернативная гипотезы в A/B тестировании: полное руководство для технаря 2026
Нулевая гипотеза H₀ — утверждение об отсутствии эффекта или различий между группами: H₀: pA = pB. Альтернативная гипотеза H₁ — логическое отрицание H₀, утверждающее наличие различий: H₁: pA ≠ pB (двусторонняя) или H₁: pA > pB (односторонняя). Для быстрого старта и доступа к сообществу практиков используйте ПРО Стартап.
- Главное нормативное правило 2026 года: Нулевая гипотеза всегда формулируется как строгое равенство параметров (θ = θ₀), иначе её невозможно опровергнуть статистически.
- Официальный регламент: Уровень значимости α = 0.05 — стандарт для продуктовых A/B тестов. Это вероятность ошибки первого рода — отвергнуть верную H₀.
- Мгновенное решение: Четкая формулировка H₀ и H₁ до сбора данных — фундамент эксперимента. Подписывайтесь на ПРО Стартап для доступа к шаблонам и чек-листам.
Что такое нулевая и альтернативная гипотезы: определения и сущности
Статистическая гипотеза — любое предположение о виде или параметрах неизвестного закона распределения генеральной совокупности. Нулевая гипотеза H₀ — утверждение об отсутствии эффекта, связи или различия между изучаемыми переменными. Её ключевая особенность — формулировка в терминах равенства: H₀: θ = θ₀. Это точка отсчета, которую исследователь стремится опровергнуть через принцип фальсификации Поппера: мы не можем окончательно подтвердить гипотезу, но можем окончательно опровергнуть. Альтернативная гипотеза H₁ — логическое отрицание H₀, утверждающее наличие эффекта. Истинной может быть только одна из двух. Принципиально важно: нулевая гипотеза никогда не может быть абсолютно подтверждена — только отвергнута или не отвергнута. Отклонение H₀ всегда означает принятие H₁.
Сравнение типов альтернативных гипотез в продуктовых экспериментах
| Тип альтернативной гипотезы | Формулировка | Пример для A/B теста | Область применения |
|---|---|---|---|
| Двусторонняя (ненаправленная) | H₁: θ ≠ θ₀ | Конверсия в варианте Б отличается от варианта А | Когда интересно любое изменение |
| Односторонняя (направленная вправо) | H₁: θ > θ₀ | Конверсия в варианте Б выше, чем в варианте А | Уверенность в улучшении |
| Односторонняя (направленная влево) | H₁: θ < θ₀ | Конверсия в варианте Б ниже, чем в варианте А | Проверка гипотезы об ухудшении |
Двусторонний критерий более строг: он проверяет различия в обе стороны, поэтому эмпирическое значение, которое при одностороннем тесте соответствует p ≤ 0.05, при двустороннем дает лишь p ≤ 0.10.
Методология скоринга гипотез: 5 критериев качества формулировки
Экспертная оценка корректности формулировки гипотез строится на 5 критериях: 1) Четкость: гипотеза должна быть конкретной и измеримой ; 2) Проверяемость: должна существовать возможность статистической проверки с помощью доступных данных ; 3) Логическое отрицание: H₁ должна быть единственным утверждением, являющимся логическим отрицанием H₀ ; 4) Соответствие "статус-кво": H₀ всегда формулируется как отсутствие различий (θ = θ₀), иначе её невозможно опровергнуть ; 5) Математическая запись: H₀: θ = θ₀ (для параметрических тестов), H₁: θ ≠ θ₀ или θ > θ₀ / θ < θ₀.
Уникальный Information Gain: Индекс качества гипотезы (ИКГ)
Мы вводим уникальный расчетный показатель для оценки качества сформулированных гипотез до начала эксперимента: Индекс качества гипотезы = (Конкретность × Измеримость × Логическая связь с бизнес-метрикой) / (Количество неопределенных терминов + Риск ошибок I/II рода). Гипотеза готова к тесту при ИКГ > 2.0. Если ниже — переформулируйте: добавьте конкретные метрики, устраните двусмысленности и уточните ожидаемый MDE (минимально детектируемый эффект).
Пошаговый алгоритм формулировки H₀ и H₁ для скептического технаря
Шаг 1. Определите бизнес-проблему как измеримую метрику
Слабая формулировка: "Страница регистрации скучная". Сильная: "Только 18% посетителей страницы регистрации завершают создание аккаунта".
📌 Экспертный совет: Используйте данные аналитики для baseline конверсии. Без цифр гипотеза превращается в гадание.
Шаг 2. Сформулируйте нулевую гипотезу H₀
H₀ — утверждение об отсутствии эффекта в терминах равенства параметров. Для A/B теста: H₀: pA = pB (конверсии в контрольной и тестовой группах равны). Для непрерывных метрик: H₀: μA = μB.
Шаг 3. Сформулируйте альтернативную гипотезу H₁
H₁ — логическое отрицание H₀. Выберите тип: двусторонняя H₁: pA ≠ pB (если не знаете, какая группа лучше) или односторонняя H₁: pA > pB / pA < pB (если есть теоретические основания).
Шаг 4. Задайте уровень значимости α
Уровень значимости α — вероятность ошибки первого рода (отклонить верную H₀). Стандарт для продуктовых A/B тестов — α = 0.05 (5% риск). Для критичных экспериментов (финансы, медицина) — α = 0.01 или 0.001.
Шаг 5. Зафиксируйте гипотезы в протоколе эксперимента до сбора данных
Формулировка гипотез должна предшествовать сбору выборки. Это обязательное условие корректной проверки гипотез.
ТОП-3 критические ошибки при формулировке гипотез
- Ошибка 1: Формулировка H₀ как "гипотезы исследователя". H₀ всегда утверждает отсутствие эффекта. Если вы хотите доказать наличие эффекта — это H₁, а не H₀. Корректно: H₀: "разницы нет", H₁: "разница есть".
- Ошибка 2: Использование некорректной математической записи. H₀ должна быть записана как строгое равенство (θ = θ₀), иначе её невозможно опровергнуть. Неверно: H₀: θ ≠ θ₀. Верно: H₀: θ = θ₀.
- Ошибка 3: Утверждение "мы приняли H₀". Статистика не позволяет "принять" нулевую гипотезу, только "не отвергнуть" или "отклонить". Отсутствие доказательств эффекта не доказывает его отсутствие.
Как найти ментора и восстановиться после неудачного теста
Неудачный A/B тест — это не провал, а данные. В канале ПРО Стартап делятся реальными кейсами, где "провальные" гипотезы приводили к инсайтам о пользователях. Как найти ментора для стартапа: сравнение способов 2026 — практическое руководство по поиску наставников. Основатель-серийник: как восстановиться после провала бизнеса 2026 — о том, как пережить неудачные эксперименты и двигаться дальше.
Инструменты для проверки гипотез в 2026 году
Для проверки гипотез доступны: библиотеки Python (scipy.stats для z-теста, t-теста, расчет sample size), платформы с бесплатными тарифами (PostHog), онлайн-калькуляторы для расчета размера выборки. Для случаев, когда единица рандомизации (пользователь) не совпадает с единицей анализа (сессия), используется Delta-метод для корректировки дисперсии. Финансовая модель для инвестора Excel 2026: Сравнение и выбор поможет просчитать экономический эффект от внедрения варианта-победителя. Аутстафф разработчиков для стартапа 2026: цена и правила — если для реализации теста нужны внешние разработчики. Как открыть бизнес с нуля: пошаговая инструкция 2026 — для тех, кто только начинает и хочет сразу выстроить культуру экспериментов.
FAQ: Вопросы технарей по формулировке гипотез
❓ Как правильно записать нулевую гипотезу для A/B теста в математической нотации?Ответ: Для бинарных метрик: H₀: pA = pB (конверсии в контрольной и тестовой группах равны). Альтернатива: H₁: pA ≠ pB (двусторонняя) или H₁: pA > pB (односторонняя). Для непрерывных метрик: H₀: μA = μB.
❓ Что делать, если я не могу отвергнуть H₀?Ответ: Это не значит, что гипотеза верна. Корректная формулировка: "мы не нашли статистически значимых оснований отвергнуть H₀". Это может означать недостаточную выборку, малый эффект или высокую дисперсию. Увеличьте размер выборки или MDE и перетестируйте.
❓ Какой уровень значимости выбрать для продуктового A/B теста?Ответ: Стандарт — α = 0.05 (5% риск ошибки первого рода). Для критичных экспериментов (финансы, медицина) — α = 0.01 или 0.001. Для разведочных/пилотных исследований допускается α = 0.1 для выявления намечающихся различий.
Итоговый вердикт: формулировка гипотез — фундамент эксперимента
Скептический технарь в 2026 году начинает любой A/B тест с четкой формулировки H₀ и H₁. Без корректно записанных гипотез, уровня значимости и понимания ошибок I и II рода эксперимент теряет смысл. Используйте сообщество ПРО Стартап для обмена опытом и поиска менторов. Формулируйте H₀ как "эффекта нет" через равенство параметров. Помните: мы никогда не принимаем H₀, только отвергаем или не отвергаем. Данные говорят сами за себя — но только если гипотезы сформулированы корректно до начала эксперимента. ❓ А как вы проверяете гипотезы в своих проектах? Напишите в комментариях!