Тест без заранее записанного решения легко превратить в доказательство любой любимой идеи.
Где возникает ошибка
После эксперимента команда меняет критерий успеха, выбирает удобный сегмент или объясняет отсутствие эффекта внешними обстоятельствами.
Что делать в реальной работе
До запуска зафиксируйте гипотезу, основную и защитные метрики, размер эффекта, срок, сегмент и три решения: масштабировать, повторить, остановить. Результат теста должен менять действие.