Как выбрать эксперимент для проверки гипотезы: риск решения, сигнал и безопасная стоимость ошибки

Как выбрать достаточный эксперимент

1. Запишите гипотезу как связь ситуации, предполагаемого действия и наблюдаемого сигнала. Отдельно запишите решение: что вы продолжите, измените или остановите при разных результатах.
2. Оцените цену ложного вывода. Для необратимого, дорогого или чувствительного решения нужен более осторожный дизайн и независимая проверка; для ранней идеи может хватить малого обратимого исследования.
3. Выберите метод, который действительно наблюдает нужный сигнал: разговор, прототип, коридорный тест, моделирование, ограниченный запуск или сравнение вариантов. Не называйте опрос, клики или одну продажу универсальным подтверждением ценности.
4. Определите границы: кому показывается тест, какие данные нужны, как получить прозрачное основание на их использование, что не тестируется на реальных платежах, клиентах или сотрудниках. Не используйте манипуляции, скрытый доступ, дискриминацию или риск для людей как «дешёвый эксперимент».
5. До старта задайте правило записи результата и review. После теста отделите факт, ограничение и следующую гипотезу; при финансовых, рекламных, потребительских, договорных, кадровых, медицинских или правовых последствиях проведите отдельную актуальную профильную проверку.

Ниже сохранён и очищен исходный материал. Это не A/B-тест по умолчанию, не финансовый прогноз и не гарантия верного решения.

Подробности исходного материала

Тестировать бизнес-модели и управлять гипотезами нам помогают эксперименты. Когда у вас много ресурсов, то можно выбирать между гипотезами по риску, стоимости ошибки и доступным временем, поставить все возможные эксперименты и собрать доказательства. Но всё-таки такая ситуация встречается редко, и нужно учитывать стоимость эксперимента, время его подготовки, чтобы выбрать максимально подходящий для вашего бизнеса и выбрать достаточный и безопасный способ получить сигнал для решения. Как выбирать эксперименты для тестирования расскажу далее.

Три вопроса для правильного эксперимента

Чтобы подобрать правильный эксперимент, нужно задать эти вопросы:

1. Какого рода гипотезу вы тестируете? Выбирайте эксперименты, которые соответствует вашей главной задаче. Одни эксперименты дают более убедительные доказательства желательности, другие — исполнимости, третьи подходят для жизнеспособности. Подробнее о типах гипотез мы говорили в этой статье (ссылка на статью Как выбрать хорошую гипотезу).
2. Сколько доказательств по конкретной гипотезе вы уже собрали? Чем меньше вам известно, тем меньше стоит тратить времени, сил и денег. Когда вы мало что знаете, единственная цель — получить доказательства, которые подсказали бы верное направление. Быстрые и дешевые эксперименты подходят для этого лучше всего, несмотря на слабость доказательств. Чем больше вам известно, тем более вескими должны становиться доказательства, а для этого, как правило, нужны уже дорогостоящие и продолжительные эксперименты.
3. Сколько времени имеется в запасе до следующего серьезного решения или израсходования денег? Выбор правильного эксперимента будет зависеть от количества времен и денег, которые у вас есть. Здесь тоже в приоритете будут быстрые и недорогие эксперименты, особенно, если ресурсы на исходе. Так вы сразу получите доказательства для подтверждения или опровержения многих аспектов вашей бизнес-идеи и сможете принять дальнейшие решения.

Правила выбора эксперимента

В своей книге «Тестирование бизнес-идей» Александр Остервальдер и Дэвид Блэнд выделяют практические правила, по которым стоит выбирать эксперименты:

1. В самом начале отдавайте предпочтение быстроте и дешевизне. Вам еще мало что известно, а быстрые и дешевые эксперименты позволят определиться на первом этапе и уже снимут часть рисков неопределенности. 
2. Повышайте весомость доказательств — ставьте многократные эксперименты с одной и той же гипотезой. Чтобы подтвердить или опровергнуть гипотезу, проведите несколько экспериментов. Так вы получите более веские доказательства и сможете принять важные решения более взвешенно.
3. Всегда выбирайте эксперимент с наиболее сильными доказательствами. Для этого проводите самый убедительный эксперимент, какой только можно, с учетом ваших ресурсов и ограничений. Даже при высокой неопределенности, когда вы выбираете быстрые и дешевые эксперименты, вы можете получить веские доказательства. 
4. Прежде чем что-то создавать, старайтесь снизить неопределенность. Дело в том, что чем выше расходы на создание, тем больше экспериментов вам придется провести, чтобы раскрыть реальные задачи, проблемы и выгоды потребителей. Поэтому сначала получите первую информацию, чтобы убедиться в верности выбранного направления и сделать выводы в отношении самых важных гипотез.

Покажу на реальном примере, как можно работать с этими правилами. Один из моих клиентов хочет запустить учебный курс в США для самозанятых. У него уже есть понимание ниши и уровня потребности такой услуги, но риск неопределенности у него еще высокий. Например, есть сомнения в том, какой размер целевой аудитории курса, будут ли потенциальные клиенты покупать курс по той цене, которую он запланировал. Чтобы снизить эту неопределенность, он выбирает небольшой и дешевый эксперимент с рекламой курса. Так он сможет понять, например, какие темы будут более востребованными, и снимет часть своих рисков. А дальше весомость экспериментов можно повышать и тестировать более важные гипотезы.  

 Иллюстрация

Всегда есть быстрые и недорогие гипотезы которые снимают риск неопределенности. С них стоит начинать эксперименты в первую очередь

Виды экспериментов

Эксперименты можно разделить на выявляющие и подтверждающие.

К выявляющим экспериментам относятся:

– Интервью с потребителями, партнерами или поставщиками, опросы, которые помогают в изучении задач проблем и выгод целевой аудитории, их готовности платить.

– Анализ данных, к примеру в поисковых системах, которые помогают в исследовании рынка и поиске новых тенденций.

– Онлайн-реклама и электронная рассылка, которые позволяют выявить интерес к вашему ценностному предложению в нужном пользовательском сегменте.

Среди подтверждающих экспериментов можно выделить, например:

– Кликабельный прототип в виде интерактивной схемы будущего приложения, которая симулирует взаимодействие пользователя с интерфейсом. Он позволяет быстро протестировать концепцию вашего продукта с участием потребителей.

– Сплит-тест — метод для сравнения двух версий продукта, контрольной версии А и версии Б, для выявления более эффективной. 

– Предпродажа — позволит оценить рыночный спрос в небольшом масштабе перед запуском открытой продажи вашего продукта.

Подробнее о каждом типе экспериментов расскажу в отдельных статьях.

Подведем итог:

• Чтобы выбрать правильный эксперимент, задайте вопросы: какого рода гипотезу вы тестируете, сколько доказательств вы уже собрали, сколько у вас есть времени и денег для проверки гипотезы.
• Начинайте с самых быстрых и дешевых экспериментов. Даже слабые доказательства помогут снизить уровень неопределенности, и у вас будет информация для проведения более важных экспериментов и получения весомых доказательств.

Константин Тарасов Автор

Предприниматель, бизнес-трекер, пишу о том, как развивать бизнес в условиях неопределенности