По моему опыту работы с командами я знаю, что даже самые продуманные планы экспериментирования не всегда претворяются в жизнь. При разработке, проведении и анализе экспериментов важно уметь быстро проводить эксперимент. Расскажу, в какие «ловушки» при проверке гипотез вы можете попасть и как их избежать.

Нехватка времени

Какое препятствие: вы уделяете слишком мало времени экспериментам и получаете соразмерно своим вложениям. Команды, которые  недостаточно времени посвящают тестированию бизнес-идей, не смогут достичь выдающихся результатов. Слишком часто команды недооценивают время, необходимое для качественной реализации многочисленных экспериментов и тестирования идей.

Как избежать: каждую неделю выделяйте определенное время на тестирование, обучение и корректировку. Ставьте еженедельные цели в отношении того, что вы хотите узнать о своих гипотезах и визуализируйте свою работу так, чтобы становилось понятно, когда задачи буксуют или блокируются.

Аналитический паралич

Какое препятствие: зацикливание на вещах, которые нужно просто протестировать и скорректировать. Хорошие идеи и концепции имеют большое значение, но слишком многие команды застревают на обдумывании и теряют время вместо того, чтобы выйти на улицу для тестирования идей и внесения изменений.

Как избежать: ограничивайте по времени аналитическую работу. А также разграничивайте обратимые и необратимые решения: по первым действуйте быстро,  вторым уделяйте больше времени. И избегайте дебатов вокруг мнения, больше оперируйте доказательствами и по ним принимайте решения.

Несопоставимые данные или доказательства

Какое препятствие: в вашем распоряжении только смешанные данные, не поддающиеся сравнению. Слишком многие команды небрежно относятся к прозрачности формулировки гипотезы, эксперимента и показателей. В результате появляются несопоставимые данные, например, тестирование не в одном и том же потребительском сегменте, а в разных или в кардинально различающихся контекстах.

Как избежать: используйте карточки тестирования. И разъясните всем участникам предмет тестирования, контекст эксперимента и точные показатели. Также следите за тем, чтобы все участники эксперимента были в курсе происходящего.

Слабые данные или доказательства

Какое препятствие: вы оцениваете лишь то, что люди говорят, а не то, что делают. Зачастую команды довольствуются опросами и интервью, не стремясь узнать, как люди действуют в реальных жизненных ситуациях.

Как избежать: Всё-таки слепо верить тому, что люди говорят, не стоит. Поэтому проводите эксперименты с призывом к действию. Так вы сгенерируете доказательства, максимально приближенные к реальной ситуации, которую хотите протестировать.

Предвзятость подтверждения

Какое препятствие: вы верите лишь в те доказательства, что согласуются с вашей гипотезой. Иногда команды отвергают или преуменьшают важность доказательств, противоречащих их гипотезе. Они предпочитают иллюзию правоты в своих предположениях.

Как избежать: подключайте к процессу обобщения данных других людей, которые помогут вам взглянуть на ситуацию под разными углами. Выдвигайте альтернативные гипотезы, чтобы поставить под сомнение свои убеждения. И по каждой гипотезе проводите несколько экспериментов.

Слишком мало экспериментов

Какое препятствие: вы проводите всего один эксперимент для самой важной гипотезы. Часто команды не понимают, сколько экспериментов следует проводить для подтверждения гипотезы. Они принимают решения по важным гипотезам, опираясь всего на один эксперимент со слабым доказательством.

Как избежать: По важным гипотезам проводите много экспериментов и не смешивайте слабые и веские доказательства. Старайтесь увеличивать весомость доказательств, снижая при этом неопределенность.

Неспособность учиться и корректировать

Какое препятствие: вы не уделяете время анализу доказательств при формулировании выводов и осуществлении действий. Некоторые команды так глубоко погружаются в тестирование, что забывают о награде. Ваша цель — не тестирование и обучение, а принятие решений на основе доказательств и выводов с тем, чтобы перейти от идеи к бизнесу.

Как избежать: выделите время на обобщение результатов, генерирование выводов и корректировку идеи. Всегда стремитесь к правильному балансу детального тестирования и общей картины и отмечайте, какие значимые закономерности вы наблюдаете. При этом постоянно спрашивайте себя, продвигаетесь ли вы в деле превращения идеи в бизнес.

Аутсорсинг тестирования

Какое препятствие: вы поручаете другим то, что должны делать и узнавать самостоятельно. И это не лучшая идея. Тестирование представляет собой быстрые итерации между тестом, обучением и корректировкой идеи. Сторонняя структура не в состоянии так быстро принимать за вас решения, и вы рискуете зря потратить время и силы.

Как избежать: ресурсы, выделенные для сторонней структуры, направьте на участников своей команды, например, чтобы сформировать ее из профессиональных тестировщиков.

Организация работы по функциональному принципу

Какое препятствие: вы разбиваете проведение эксперимента на отдельные задачи и поручаете их различным отделам. Такая схема имеет право на существование, если вы знаете решение, поскольку можете анализировать способ эффективной разработки этого решения. Но при экспериментировании вы действуете в неопределенности, к тому же и ситуация вокруг может быстро меняться. Поэтому функционально изолированная организационная модель будет не эффективна.

Как избежать: собирайте для экспериментирования кросс-функциональные команды. При тестировании новых бизнес-моделей скорость и гибкость выходят на передний план. Кросс-функциональные команды адаптируются быстрее, чем изолированные подразделения и действуют намного результативнее, чем большие, но изолированные проектные группы.