Финал A
Провести A/B-тест
УсловиеЕсть решение, данные и цена ошибки, которая оправдывает эксперимент.
A/B-тест не находит правильное решение. Он проверяет конкретную гипотезу.
Сначала определяем точку потери, причину и решение. Тестируем только там, где цена ошибки высока, результат влияет на следующий шаг, а данных достаточно для честного вывода.
- 01Проблема
- 02Доказательство
- 03Причина
- 04Решение
- 05Способ проверки
05 · Способ проверкиA/B-тест — только один из вариантов этого шага, а не начало решения.
Последовательность
«Давайте протестируем» — не ответ на вопрос, что нужно изменить
Аналитика показывает, где пользователи выпадают. Исследования и экспертиза помогают объяснить, почему это происходит. Только после этого формируется конкретное решение, эффект которого можно проверить.
- 01ДанныеГде именно выпадают пользователи
- 02Поведенческая проблемаКакое действие человек не выполняет
- 03ПричинаПочему решение не принимается
- 04РешениеКонкретное изменение в продукте
- 05Способ проверкиТест или другое доказательство
- 06РешениеВнедряем, отклоняем или проверяем иначе
Плохая гипотеза
«Сделаем кнопку красной — вдруг кликов станет больше».
Рабочая гипотеза — пример структуры
«Пользователи не продолжают оформление, потому что до следующего шага не видят полной стоимости. Если показать её раньше, больше людей завершат заказ».
Если мы не можем объяснить, почему изменение повлияет на решение пользователя, мы тестируем не гипотезу, а случайность.
Дерево решений
Тест нужен не при каждом изменении
-
Вопросы 01
Есть ли конкретное решение для проверки?
Ни → сначала аналитика, UX-исследования или аудит.
Да → дальше
-
Вопросы 02
Изменит ли тестируемое решение результат?
Ни → тест не нужен.
Да → дальше
-
Вопросы 03
Высока ли цена ошибки или масштабирования?
Нет → рассмотреть контролируемое внедрение.
Да → дальше
-
Вопросы 04
Достаточно ли трафика и целевых событий?
Ни → выбрать другой способ проверки.
Да → дальше
-
Вопросы 05
Можем ли мы корректно измерить результат?
Нет → сначала исправить аналитику.
Да → планировать эксперимент
Финал B
Внедрить контролируемо
УсловиеРиск умеренный или трафика мало для честного теста — фиксируем ограничения вывода.
Финал C
Сначала исследования или данные
УсловиеНет причинной модели или доверия к аналитике.
До запуска
Сначала определяем, способен ли тест дать ответ. Затем проектируем варианты
- 01Основная метрика
- 02Защитные метрики
- 03Базовый уровень
- 04Минимальный эффект, ради которого стоит менять продукт
- 05Необходимый объём выборки
- 06Минимальная длительность
- 07Полные бизнес-циклы
- 08Сегменты
- 09Техническая корректность распределения
- 10Правило остановки
- 11Следующее действие для каждого возможного результата
Если тест не может набрать достаточно данных за приемлемый для бизнеса срок, он не станет честнее от того, что длится дольше.
Результат
У теста больше двух результатов: не только «победа» или «поражение»
01 – Финал
Решение подтвердилось
Эффект достаточно убедителен, защитные метрики не ухудшились, а масштаб изменения имеет бизнес-смысл.
Следующее действиеВнедряем
02 – Финал
Решение не подтвердилось
Не внедряем его как доказанное. Пересматриваем причинную модель или формулируем другую гипотезу.
Следующее действиеВозвращаемся к причине
03 – Финал
Данных недостаточно
Не называем случайное колебание победой. Фиксируем ограничения и решаем, продолжать ли тест, изменить метод проверки или остановиться.
Следующее действиеЭто тоже результат
Основная метрика должна быть максимально близка к бизнес-результату. Промежуточную метрику используем только тогда, когда понятно, как она связана со следующим ценным действием.
Больше кликов — не победа, если они не меняют результат, ради которого существует страница или продукт.
Межа
Иногда лучшее решение для A/B-теста — не проводить его
Сравнение «до/после» не является полноценным экспериментом само по себе. Если используем контролируемое внедрение, прямо обозначаем ограничения причинного вывода.
Мы не создаём эксперимент, чтобы заполнить ежемесячный отчёт.
- Не запускаем тест, если
- 01Нет конкретной гипотезы
- 02Результат не повлияет на решение
- 03Недостаточно трафика или событий
- 04Аналитика не позволяет доверять данным
- 05Одновременно меняется слишком много внешних факторов
- 06Тест будет дороже, чем контролируемое внедрение
- 07Проблема является очевидным дефектом, ошибкой или нарушением базового сценария
- 08Команда не готова внедрить ни один из возможных результатов
У границах CRO
Что получает клиент вокруг каждого эксперимента
(01) Решение
Обоснованное решение.
Описание проблемы, причинная модель, данные и конкретное изменение для проверки.
- Проблема
- Причинна модель
- Данные
- Изменение
(02) Расчёт
Расчёт до запуска.
Оценка необходимой выборки, длительности и способности теста увидеть эффект, который имеет значение для бизнеса.
- Выборка
- Длительность
- Минимальный эффект
- Правило остановки
(03) Реализация
Реализация эксперимента.
Дизайн вариантов, техническая постановка, проверка данных и контроль корректности запуска.
- Дизайн вариантов
- Постановка
- Проверка данных
- Контроль распределения
(04) Вывод
Решение после результата.
Интерпретация выборочных метрик, рекомендация по внедрению и фиксация нового знания о поведении пользователя.
- Интерпретация
- Защитные метрики
- Рекомендация
- Новое знание
Формат решения
A/B-тестирование не продаётся отдельно от задачи, которую оно должно решить
A/B-тесты входят в CRO для eCommerce или CRO для цифровых продуктов. До эксперимента проводится диагностика, после него принимается и внедряется решение.
Точка стартаРазово
от $2 500
Полный аудит сайта: точки потерь, причины и приоритеты.
- Анализ цепочки решений
- Точки потерь с доказательствами
- Приоритетный план изменений
- Рекомендованный способ проверки каждого изменения
Формат решенияЗависит от задачи
В составе CRO
Стоимость эксперимента зависит от сложности гипотезы, количества вариантов, потребности в дизайне, сложности реализации, системы экспериментов, аналитики, длительности контроля и количества платформ и сегментов.
Проверить, нужен ли тестМесто в CRO
Тест — один шаг цикла, а не отдельный процесс
- 01ДиагностикаГде и сколько теряется
- 02РешениеЧто именно меняем и почему
- 03Выбор метода проверкиA/B-тест · UX-исследование · прототип · контролируемый запуск · анализ до/после с ограничениями · наблюдение за метриками
- 04ВнедрениеИзменение доходит до продукта
- 05ИзмерениеЧто изменилось в поведении и деньгах
- 06Следующее решениеЦикл повторяется с новым знанием
Наша цель — не провести больше тестов. Наша цель — быстрее получить достаточно доказательств для правильного решения.
Вопросы
Что обычно спрашивают про эксперименти
Универсальной цифры нет. Нужный объём зависит от базовой конверсии, минимального эффекта, который важно выявить, количества вариантов и допустимой погрешности. Это рассчитывается до запуска.
Каждый тест использует трафик, время команды и откладывает внедрение. Если результат не изменит решение или тест не способен увидеть важный эффект, он не создаёт ценности.
Иногда это полезный ориентир, но такое сравнение не отделяет влияние изменения от сезонности, рекламы, состава аудитории и других факторов. Поэтому уровень доказательности будет ниже, чем в корректном контролируемом эксперименте.
Она должна быть максимально близка к бизнес-результату. В некоторых продуктах доход возникает слишком поздно, поэтому используют подтверждённую промежуточную метрику вместе с защитными показателями.
Это не гарантия бизнес-пользы и не доказательство абсолютной истины. Это означает, что при выбранной модели наблюдения разницу сложнее объяснить случайностью. Отдельно нужно оценить размер эффекта, качество данных и практическую ценность.
Использовать другой способ получения доказательств: UX-исследование, прототипирование, контролируемый запуск, анализ поведения или наблюдение после внедрения с ясным пониманием ограничений.
Нет. Мы против тестирования без вопроса, математики и следующего решения. Когда эксперимент является лучшим способом снизить риск, мы его используем.
Начало
Сначала определим не то, что тестировать, а какое решение вам нужно принять
30-минутная онлайн-встреча с основателем. Обсудим задачу, доступные данные, трафик и цену ошибки. После разговора предложим следующий шаг: A/B-тест, аудит, CRO или другой способ проверки.