Если вы опытный предприниматель или только начинаете, то, скорее всего, вы видели бесчисленное количество статей и ресурсов об A/B-тестировании. Возможно, вы даже уже проводите A/B-тестирование тематических строк своих электронных писем или постов в социальных сетях. Несмотря на то, что в области маркетинга об А/Б-тестировании было сказано немало, многие люди по-прежнему ошибаются. Результат? Люди принимают важные бизнес-решения, основываясь на неточных результатах неправильного тестирования. A/B тестирование часто слишком упрощается, особенно в материалах, написанных для владельцев магазинов. Ниже вы найдете все, что вам нужно знать, чтобы начать работу с различными типами A/B-тестирования для электронной коммерции, объясненными как можно проще. A/B-тестирование может стать решающим фактором при выборе правильного позиционирования товара, повышении конверсии на целевой странице и многом другом.
Что такое A/B тестирование?
A/B-тестирование, иногда называемое сплит-тестированием, – это процесс сравнения двух версий одной и той же веб-страницы, электронного письма или другого цифрового актива для определения того, какая из них работает лучше на основе поведения пользователей. Это полезный инструмент для повышения эффективности маркетинговой кампании и лучшего понимания того, что привлекает вашу целевую аудиторию. Этот процесс позволяет ответить на важные вопросы бизнеса, помогает получить больший доход от уже имеющегося трафика и закладывает основу для маркетинговой стратегии, основанной на данных.
Как работает A/B тестирование
При использовании A/B тестирования в контексте маркетинга вы показываете 50% посетителей версию A вашего актива (назовем ее “контрольной”) и 50% посетителей версию B (назовем ее “вариантом”). Побеждает тот вариант, который дает наибольший коэффициент конверсии. Например, допустим, что вариант (версия B) дал самый высокий коэффициент конверсии. Тогда вы объявите его победителем и переведете 100% посетителей на этот вариант. Затем этот вариант становится новым контролем, и вы должны разработать новый вариант. Стоит отметить, что коэффициент конверсии А/Б-тестов часто может быть несовершенным показателем успеха. Например, если на одной странице вы выставите цену на товар в 50 долларов, а на другой странице он будет совершенно бесплатным, это не даст действительно ценной информации. Как и любой инструмент или стратегия, которые вы используете для своего бизнеса, они должны быть стратегическими. Вот почему вы должны отслеживать ценность конверсии на протяжении всего пути к окончательной продаже.
Что такое A/B/n тестирование?
При A/B/n тестировании вы можете протестировать более одного варианта против контрольного. Так, вместо того чтобы показывать 50% посетителей контрольный вариант и 50% посетителей – вариант, вы можете показать 25% посетителей контрольный вариант, 25% – первый вариант, 25% – второй вариант и 25% – третий вариант. Примечание: Это отличается от многовариантного тестирования, которое также включает в себя несколько вариантов. При многовариантном тестировании вы тестируете не только несколько вариантов, но и несколько элементов, например, A/B тестирование UX или сплит-тестирование SEO. Цель состоит в том, чтобы выяснить, какая комбинация работает лучше всего.
Для проведения многомерных тестов вам понадобится много трафика, поэтому пока их можно игнорировать.
Как долго должны проводиться A/B-тесты?
Проведите A/B-тест в течение как минимум одного, а в идеале – двух полных бизнес-циклов. Не прекращайте тестирование только потому, что вы достигли значимости. Вам также необходимо соблюсти заранее определенный размер выборки. Наконец, не забудьте провести все тесты с шагом в полную неделю. Почему именно два полных бизнес-цикла? Для начала:
- Вы можете учесть покупателей, которые говорят “мне нужно подумать”.
- Вы можете учитывать все различные источники трафика (Facebook, рассылка по электронной почте, органический поиск и т.д.).
- Вы можете учитывать аномалии. Например, ваша пятничная рассылка по электронной почте.
Двух бизнес-циклов обычно достаточно, чтобы получить ценное представление о поведении пользователей вашей целевой аудитории. Если вы пользовались каким-либо инструментом для тестирования целевых страниц с помощью A/B-тестов, вам, скорее всего, знаком маленький зеленый значок “Статистически значимо”. Для многих, к сожалению, это универсальный знак “тест готов, отменяйте его”. Как вы узнаете ниже, то, что статистическая значимость A/B-теста достигнута, не означает, что вы должны прекратить тест. А ваш заранее определенный размер выборки? Это не так страшно, как кажется. Откройте калькулятор размера выборки, как этот от Эвана Миллера, и используйте его на всех своих веб-страницах, чтобы улучшить показатели конверсии.
Этот расчет говорит о том, что если ваш текущий коэффициент конверсии составляет 5%, а вы хотите выявить эффект в 15%, то вам потребуется выборка в 13 533 человека на каждую вариацию. Таким образом, в целом, если это стандартный A/B-тест, необходимо более 25 000 посетителей. Посмотрите, что произойдет, если вы хотите обнаружить меньший эффект:
Все, что изменилось, это минимальный обнаруживаемый эффект (MDE). Он уменьшился с 15% до 8%. В этом случае для каждой вариации нужна выборка в 47 127 человек. Таким образом, в целом, если это стандартное А/Б тестирование, необходимо почти 100 000 посетителей. Независимо от того, проводите ли вы A/B-тестирование UX или сплит-тестирование SEO, размер вашей выборки должен быть рассчитан заранее, до начала тестирования. Ваш тест не может быть остановлен, даже если он достигнет значимости, пока не будет достигнут заранее определенный размер выборки. В противном случае тест будет недействительным. Вот почему нельзя бесцельно следовать лучшим практикам, например, “остановиться после 100 конверсий”. Также важно проводить сплит-тест в течение всей недели. Ваш трафик может меняться в зависимости от дня недели и времени суток, поэтому вы должны быть уверены, что включите все дни недели.
Почему вы должны проводить A/B-тестирование?
Допустим, вы тратите $100 на рекламу в Facebook, чтобы направить 10 человек на ваш сайт. Средняя стоимость заказа составляет $25. Восемь из этих посетителей уходят, ничего не купив, а двое других тратят по $25. Результат? Вы потеряли 50 долларов. Теперь предположим, что вы потратили 100 долларов на рекламу в Facebook, чтобы отправить 10 человек на ваш сайт. Ваша средняя стоимость заказа по-прежнему составляет $25. Однако на этот раз только пять из этих посетителей уходят, ничего не купив, а остальные пять тратят по $25. Результат? Вы заработали 25 долларов. Конечно, это один из самых простых примеров A/B-тестирования. Но, увеличив коэффициент конверсии для своего интернет-магазина, вы сделали тот же трафик более ценным. А/Б-тестирование изображений и копий также поможет вам раскрыть глубокие знания, независимо от того, выиграет ваш тест или проиграет. Это очень полезно. Например, копирайтинг, полученный в результате A/B-тестирования описания товара, может помочь в разработке ценностного предложения, видеоролика о товаре или описания других товаров. Также нельзя игнорировать ценность постоянного повышения эффективности вашего интернет-магазина.
Должны ли вы проводить A/B-тестирование?
Не обязательно. Если у вас сайт с низкой посещаемостью или веб- или мобильное приложение, то A/B-тестирование, вероятно, не является для вас лучшим способом оптимизации. Скорее всего, вы получите более высокую отдачу от инвестиций (ROI), если проведете пользовательское тестирование или, например, поговорите со своими клиентами. Несмотря на распространенное мнение, оптимизация коэффициента конверсии не начинается и не заканчивается тестированием. Рассмотрим цифры из приведенного выше калькулятора размера выборки. 47 127 посетителей на вариацию, чтобы обнаружить эффект в 8%, если ваш базовый коэффициент конверсии составляет 5%. Допустим, вы хотите протестировать страницу товара. Получит ли она около 100 000 посетителей за две-четыре недели? Почему от двух до четырех недель? Помните, что мы хотим провести тесты в течение как минимум двух полных бизнес-циклов. Обычно это составляет от двух до четырех недель. Возможно, вы думаете: “Нет проблем, я буду проводить тест дольше, чем две-четыре недели, чтобы достичь необходимого размера выборки”.
Это тоже не сработает. Чем дольше проводится тест, тем больше он подвержен внешним угрозам валидности и загрязнению выборки. Например, посетители могут удалить свои cookies и снова попасть в A/B-тест как новый посетитель. Или кто-то может переключиться с мобильного телефона на настольный компьютер и увидеть альтернативный вариант. По сути, слишком долгое проведение теста так же плохо, как и недостаточно длительное. Тестирование стоит проводить тем магазинам, которые могут обеспечить необходимый размер выборки за две-четыре недели. Магазинам, которые не могут этого сделать, следует рассмотреть другие формы оптимизации, пока их трафик не увеличится. Юлия Старостенко, менеджер по продуктам Pinterest, согласна с этим, объясняя: “Экспериментировать – это весело! Но важно убедиться в точности результатов”. Спросите себя: Достаточно ли велика ваша аудитория? Достаточно ли вы собрали данных? Для достижения истинной статистической значимости (в разумные сроки) размер аудитории должен быть достаточно большим.”
Что следует тестировать в режиме A/B?
Я не могу сказать вам, что именно вы должны тестировать. Я знаю, знаю. Конечно, вам будет легче жить, если я дам вам список из 99 вещей, которые нужно протестировать прямо сейчас. Нет недостатка в маркетологах, готовых сделать это в обмен на клики. Правда в том, что единственные тесты, которые стоит проводить, – это тесты, основанные на ваших собственных данных. У меня нет доступа к вашим данным, вашим клиентам и т.д., как и у тех, кто составляет эти огромные списки идей для A/B-тестирования. Никто из нас не может толком сказать вам, что тестировать. Единственные тесты, которые стоит проводить, – это тесты, основанные на ваших собственных данных. Вместо этого я призываю вас ответить на этот вопрос самостоятельно с помощью качественного и количественного анализа. Некоторые популярные примеры A/B-тестирования следующие:
- Технический анализ. Загружается ли ваш магазин правильно и быстро в каждом браузере? На каждом устройстве? У вас может быть блестящий новый iPhone 14, но кто-то где-то все еще пользуется Motorola Razr 2005 года. Если ваш сайт не работает правильно и быстро, он определенно не конвертируется так хорошо, как мог бы.
- Опросы на месте. Они появляются по мере того, как посетители вашего магазина просматривают страницу. Например, опрос на месте может спросить посетителей, которые уже некоторое время находятся на одной и той же странице, есть ли что-то, что удерживает их от совершения покупки сегодня. Если да, то что именно? Вы можете использовать эти качественные данные для улучшения копирования и повышения коэффициента конверсии.
- Интервью с клиентами. Ничто не может заменить телефонный разговор с клиентами. Почему они выбрали именно ваш магазин, а не конкурирующие магазины? Какую проблему они пытались решить, придя на ваш сайт? Можно задать миллион вопросов, чтобы понять, кто ваши клиенты и почему они покупают именно у вас.
- Опросы клиентов. Опросы клиентов – это полномасштабные опросы, которые проводятся среди людей, уже совершивших покупку (в отличие от посетителей). При разработке опроса вы должны сосредоточиться на определении ваших клиентов, определении их проблем, определении колебаний, которые они испытывали перед покупкой, и определении слов и фраз, которые они используют для описания вашего магазина.
- Анализ аналитики. Правильно ли ваши инструменты аналитики отслеживают и сообщают ваши данные? Это может показаться глупым, но вы удивитесь, узнав, как много инструментов аналитики настроены неправильно. Анализ аналитики – это выяснение того, как ведут себя ваши посетители. Например, вы можете сосредоточиться на воронке. Где у вас самые большие утечки в воронке конверсии? Другими словами, где большинство людей выпадает из вашей воронки? Это хорошее место для начала тестирования.
- Пользовательское тестирование. Это когда вы наблюдаете, как реальные люди в рамках платного контролируемого эксперимента пытаются выполнить задания на вашем сайте. Например, вы можете попросить их найти видеоигру в диапазоне от $40 до $60 и добавить ее в корзину. Пока они выполняют эти задачи, они вслух рассказывают о своих мыслях и действиях.
- Повторные сеансы. Повторы сеансов похожи на пользовательское тестирование, но теперь вы имеете дело с реальными людьми с реальными деньгами и реальным намерением купить. Вы будете наблюдать, как ваши реальные посетители перемещаются по вашему сайту. Что им трудно найти? Где они расстраиваются? Где они, кажется, запутались?
Существуют и другие виды исследований, но начните с выбора наиболее подходящей для вас методики A/B-тестирования. Если вы пробежитесь по некоторым из них, у вас будет огромный список идей, основанных на данных, которые стоит протестировать. Я гарантирую, что ваш список принесет вам больше пользы, чем любая статья “99 вещей, которые нужно протестировать прямо сейчас”.
Определение приоритетности идей A/B-тестирования
Огромный список идей для A/B-тестирования – это интересно, но не совсем полезно для принятия решения о том, что тестировать. С чего начать? Вот тут-то и приходит на помощь расстановка приоритетов. Существует несколько общих рамок расстановки приоритетов, которые вы можете использовать:
- ICE. ICE означает воздействие, уверенность и легкость. Каждый из этих факторов оценивается по шкале от 1 до 10. Например, если вы можете легко провести тест самостоятельно, без помощи разработчика или дизайнера, вы можете оценить легкость на восемь баллов. Здесь вы опираетесь на свои суждения, и если тесты проводит несколько человек, оценки могут стать слишком субъективными. Чтобы все были объективны, необходимо иметь набор рекомендаций.
- ПИЭ. PIE означает потенциал, важность и легкость. Опять же, каждому фактору присваивается рейтинг от 1 до 10. Например, если тест охватит 90% вашего трафика, вы можете оценить важность на восемь баллов. PIE так же субъективен, как и ICE, поэтому рекомендации могут быть полезны и для этой системы.
- PXL. PXL – это система расстановки приоритетов из CXL. Она немного отличается и является более настраиваемой, заставляя принимать более объективные решения. Вместо трех факторов вы найдете вопросы “да/нет” и вопрос о простоте внедрения. Например, система может спросить: “Предназначен ли тест для повышения мотивации?”. Если да, то он получает 1, если нет, то 0. Вы можете узнать больше об этой системе и загрузить электронную таблицу.
Теперь у вас есть представление о том, с чего начать, но также может помочь классификация ваших идей. Например, во время исследования конверсии, которое я недавно проводил, я использовал три категории: реализация, исследование и тестирование.
- Реализовать. Просто сделайте это. Это сломано или очевидно.
- Исследовать. Требует дополнительных размышлений для определения проблемы или поиска решения.
- Тест. Идея здравая и обоснованная. Проверьте ее!
После распределения по категориям и расстановки приоритетов вы будете готовы.
Краткий курс по статистике A/B-тестирования
Прежде чем проводить тест, важно изучить статистику. Я знаю, что статистику обычно не любят, но считайте, что это обязательный курс, который вы с трудом проходите, чтобы закончить школу. Статистика является важной частью A/B-тестирования. К счастью, инструменты A/B-тестирования и программное обеспечение для сплит-тестирования облегчили работу оптимизатора, но базовое понимание того, что происходит за кулисами, крайне важно для анализа результатов тестирования в дальнейшем. Алекс Биркетт, бывший менеджер по маркетингу роста в HubSpot и нынешний соучредитель Omniscient Digital, объясняет: “Статистика – это не магическое число конверсий или двоичное “Успех!” или “Провал”. Это процесс, используемый для принятия решений в условиях неопределенности и снижения риска путем попытки уменьшить туманность в отношении того, каким будет результат того или иного решения”. Учитывая это, я считаю, что необходимо знать основы: что такое среднее значение, дисперсия, выборка, стандартное отклонение, регрессия к среднему значению и что такое “репрезентативная” выборка. Кроме того, когда вы только начинаете проводить A/B-тестирование, полезно установить некоторые специальные ограждения, чтобы максимально снизить вероятность человеческой ошибки”.
Что значит “среднее”?
Среднее – это среднее значение. Ваша цель – найти среднее значение, которое является репрезентативным для всей совокупности. Например, допустим, вы пытаетесь найти среднюю цену на видеоигры. Вы не станете складывать цены на все видеоигры в мире и делить их на количество всех видеоигр в мире. Вместо этого вы выделите небольшую выборку, которая является репрезентативной для всех видеоигр в мире. В итоге вы можете найти среднюю цену нескольких сотен видеоигр. Если вы выбрали репрезентативную выборку, то средняя цена этих двухсот видеоигр должна быть репрезентативной для всех видеоигр в мире.
Что такое выборка?
Чем больше размер выборки, тем меньше вариабельность, а значит, больше вероятность того, что среднее значение будет точным. Таким образом, если вы увеличите выборку с 200 видеоигр до 2 000 видеоигр, вы получите меньшую дисперсию и более точное среднее значение.
Что такое дисперсия?
Дисперсия – это средняя изменчивость. По сути, чем выше изменчивость, тем менее точным будет среднее значение при прогнозировании отдельной точки данных. Итак, насколько близко среднее значение к фактической цене каждой отдельной видеоигры?
Что такое статистическая значимость?
Если предположить, что между A и B нет никакой разницы, как часто вы будете видеть эффект просто случайно? Чем ниже уровень статистической значимости, тем больше вероятность того, что ваш выигрышный вариант вовсе не является выигрышным. Проще говоря, низкий уровень значимости означает, что существует большая вероятность того, что ваш “победитель” не является настоящим победителем (это называется ложным срабатыванием). Имейте в виду, что большинство инструментов A/B тестирования и программного обеспечения для A/B тестирования с открытым исходным кодом называют статистическую значимость, не дожидаясь достижения заранее определенного размера выборки или момента времени.
Именно поэтому вы можете заметить, что ваш тест скачет туда-сюда между статистически значимым и статистически незначимым. Пип Ладжа, основатель CXL, хочет, чтобы больше людей действительно понимали статистическую значимость A/B-тестов и почему она важна: “Статистическая значимость не равна достоверности – это не правило остановки. Когда вы достигаете 95% статистической значимости или выше, это мало что значит, пока не выполнены два других более важных условия: “1. Достаточный объем выборки, который вы можете рассчитать с помощью калькулятора объема выборки. Это означает, что в эксперименте участвовало достаточно людей, чтобы можно было сделать хоть какой-то вывод. 2. Тест проводился достаточно долго, чтобы выборка была репрезентативной (и не слишком долго, чтобы избежать загрязнения выборки). В большинстве случаев вы захотите проводить тесты две, три или четыре недели, в зависимости от того, как быстро вы сможете получить необходимую выборку.”
Что такое регрессия к среднему значению?
Вы можете заметить экстремальные колебания в начале вашего A/B-теста. Регрессия к среднему – это явление, которое говорит, что если что-то является экстремальным при первом измерении, то при втором измерении оно, скорее всего, будет ближе к среднему. Если единственная причина, по которой вы объявляете тест, заключается в том, что он достиг статистической значимости, вы можете получить ложный положительный результат. Ваша вариация выигрыша, скорее всего, со временем регрессирует к среднему значению.
Что такое статистическая мощность?
Если предположить, что между A и B есть разница, как часто вы будете наблюдать эффект? Чем ниже уровень власти, тем больше вероятность того, что победитель останется непризнанным. Чем выше уровень власти, тем меньше шанс, что победитель останется непризнанным. На самом деле, все, что вам нужно знать, это то, что 80% статистической мощности является стандартом для большинства инструментов A/B тестирования и/или любого сервиса сплит-тестирования. Тон Весселинг, основатель Online Dialogue, хотел бы, чтобы больше людей знали о статистической мощности: “Многие люди беспокоятся о ложноположительных результатах. Мы гораздо больше беспокоимся о ложноотрицательных результатах. Зачем проводить эксперименты, если шансы найти доказательства того, что ваше позитивное изменение оказывает влияние, очень малы?”.
Что такое угрозы внешней валидности?
Существуют внешние факторы, которые угрожают достоверности ваших тестов. Например:
- Распродажи “Черная пятница – Киберпонедельник” (BFCM)
- Положительное или отрицательное упоминание в прессе
- Запуск крупной платной кампании
- День недели
- Смена времен года
Один из наиболее распространенных примеров A/B-тестирования, когда угроза внешней валидности влияет на результаты, – это сезонные события. Допустим, вы проводите тестирование в декабре. Крупные торговые праздники означают увеличение посещаемости вашего магазина в этом месяце. В январе вы можете обнаружить, что победитель декабря больше не показывает хороших результатов. Почему? Из-за внешней угрозы достоверности: праздников. Данные, на которых вы основывали свое решение о тестировании, были аномалией. Когда в январе все успокоится, вы можете с удивлением обнаружить, что ваш победитель проиграл. Вы не можете устранить внешние угрозы достоверности, но вы можете смягчить их, проводя тесты в течение полных недель (например, не начинайте тест в понедельник и не заканчивайте его в пятницу), включая различные типы трафика (например, не тестируйте только платный трафик, а затем распространяйте результаты на все источники трафика) и помня о потенциальных угрозах.
Как настроить A/B-тестирование
Давайте пройдемся по небольшому учебнику по A/B-тестированию. Прежде чем что-то тестировать, необходимо выработать надежную гипотезу. (Отлично, мы только что закончили урок математики и теперь переходим к науке). Например, “Если я снижу цену за доставку, конверсия увеличится”. Не волнуйтесь, это несложно. По сути, вам нужно проверить гипотезу, а не идею. Гипотеза поддается измерению, направлена на решение конкретной проблемы конверсии и ориентирована на понимание, а не на победу. Вам нужно проводить A/B-тестирование гипотезы, а не идеи. Всякий раз, когда я пишу гипотезу, я использую формулу, заимствованную из Hypothesis Kit Крейга Салливана:
- Потому что вы видите [вставить данные/отзывы из исследования]
- Вы ожидаете, что [изменение, которое вы тестируете] вызовет [ожидаемое вами воздействие] и
- Вы будете измерять это с помощью [метрика данных].
Легко, правда? Вам остается только заполнить пробелы, и ваша идея теста превратилась в гипотезу.
Выбор инструмента для A/B-тестирования
Теперь вы можете приступить к выбору инструмента A/B-тестирования или сервиса сплит-тестирования. Чаще всего в первую очередь вы подумаете о Google Optimize, Optimizely и VWO. Все они являются хорошими и безопасными вариантами.
- Google Optimize. Бесплатный, за исключением некоторых многомерных ограничений, которые не должны повлиять на вас, если вы только начинаете. Он хорошо работает при проведении A/B-тестирования в Google Analytics, что является плюсом.
- Optimizely. Легко запустить небольшие тесты, даже не имея технических навыков. Stats Engine облегчает анализ результатов тестирования. Как правило, Optimizely является самым дорогим вариантом из трех.
- VWO. VWO имеет SmartStats для облегчения анализа. Кроме того, у него есть отличный WYSIWYG-редактор для новичков. Каждый тарифный план VWO поставляется с тепловыми картами, опросами на месте, аналитикой форм и т.д.
У нас также есть несколько инструментов A/B-тестирования в Shopify App Store, которые могут быть вам полезны. Выбрав инструмент A/B-тестирования или программное обеспечение для сплит-тестирования, заполните форму регистрации и следуйте инструкциям. Процесс варьируется от инструмента к инструменту. Как правило, вас попросят установить сниппет на ваш сайт и установить цели.
Как анализировать результаты A/B-тестирования
Помните, я говорила, что написание гипотезы смещает фокус с побед на понимание? Криста Зайден, аналитик-адвокат, бывший менеджер по продуктам в Google, объясняет, что это значит: “Самый упускаемый из виду аспект A/B-тестирования – это извлечение уроков из неудач. На самом деле, в программах оптимизации, которыми я управляла, я взяла за правило публиковать “отчет о неудачах”, где я называю некоторые из самых больших неудач квартала и то, чему мы научились на их примере. “Один из моих самых любимых отчетов был составлен по результатам кампании, которая готовилась несколько месяцев. Мы смогли провести тестирование целевой страницы незадолго до ее запуска, и хорошо, что мы это сделали, потому что она потерпела катастрофический провал. Если бы мы действительно запустили страницу в том виде, в котором она была, мы бы получили значительный удар по итоговой прибыли.
В итоге мы не только сэкономили компании кучу денег, но и смогли разобраться и сделать несколько предположений (которые позже проверили) о том, почему новая страница показала столь низкие результаты, что позволило нам стать лучшими маркетологами и добиться большего успеха в будущих кампаниях”. Если вы правильно сформулируете свою гипотезу, то даже проигравший станет победителем, потому что вы получите понимание, которое сможете использовать в будущих тестах и в других областях вашего бизнеса. Поэтому, когда вы анализируете результаты тестирования, вам нужно сосредоточиться на понимании, а не на том, выиграл тест или проиграл. Всегда есть чему поучиться, всегда есть что анализировать. Не отмахивайтесь от проигравших! Если вы правильно составите свою гипотезу, то даже проигравший окажется победителем. Самое важное, что здесь следует отметить, – это необходимость сегментации. Тест может быть неудачным в целом, но есть вероятность, что он хорошо показал себя хотя бы в одном сегменте. Что я имею в виду под сегментом?
- Новые посетители
- Возвращение посетителей
- Посетители iOS
- Посетители Android
- Посетители Chrome
- Посетители сафари
- Посетители настольных компьютеров
- Посетители с планшетов
- Посетители органического поиска
- Платные посетители
- Посетители социальных сетей
- Зарегистрированные покупатели
Вы поняли идею, верно? Когда вы просматриваете результаты в своем инструменте тестирования, вы смотрите на всю коробку конфет. Вам нужно разделить конфеты, чтобы раскрыть более глубокие, сегментированные знания. Есть вероятность, что гипотеза оказалась верной среди определенных сегментов. Это тоже о чем-то говорит. Анализ – это гораздо больше, чем вопрос о том, был ли тест выигран или проигран. Сегментируйте данные, чтобы найти скрытые под поверхностью понимания. Инструменты A/B-тестирования не сделают анализ за вас, поэтому это важный навык, который нужно развивать со временем.
Как архивировать прошедшие A/B-тесты
Предположим, завтра вы проведете свой первый тест. Через два года вы вспомните детали этого теста? Вряд ли. Вот почему архивирование результатов A/B-тестирования очень важно. Без хорошо хранящегося архива все те знания, которые вы получаете, будут потеряны. К тому же, шутка ли, очень легко протестировать одно и то же дважды, если вы не ведете архив. Однако не существует “правильного” способа сделать это. Вы можете использовать такой инструмент, как Effective Experiments, или Excel. Все зависит от вас, особенно если вы только начинаете. Просто убедитесь, что вы отслеживаете:
- Гипотеза
- Скриншоты контроля и вариаций
- Независимо от того, выиграл он или проиграл
- Понимание, полученное в результате анализа
По мере роста вы поблагодарите себя за то, что сохранили этот архив. Он поможет не только вам, но и новым сотрудникам и консультантам/заинтересованным лицам.
Процессы A/B тестирования профессионалов
Теперь, когда вы ознакомились со стандартным учебником по A/B-тестированию, давайте посмотрим, как именно работают профессионалы из таких компаний, как Google и HubSpot.
Криста Зайден
Мой пошаговый процесс А/Б-тестирования веб-сайтов и приложений начинается с анализа – на мой взгляд, это основа любой хорошей программы тестирования. На этапе анализа целью является изучение данных аналитики, опросов, UX-данных или любых других источников информации о потребителе, чтобы понять, где находятся возможности для оптимизации. После того, как у вас есть хороший набор идей на этапе анализа, вы можете перейти к выдвижению гипотез о том, что может идти не так, и как вы можете потенциально исправить или улучшить эти области оптимизации. Далее, пришло время создать и запустить тесты. Обязательно проводите их в течение разумного периода времени (я предпочитаю две недели, чтобы учесть недельные изменения или аномалии), и когда у вас будет достаточно данных, проанализируйте результаты, чтобы определить победителя.
На этом этапе также важно уделить некоторое время анализу проигравших – что вы можете узнать из этих вариаций? И наконец, к этому этапу можно подойти только после того, как вы потратите время на создание фундамента для надежной программы оптимизации, пришло время обратить внимание на персонализацию. Для этого необязательно нужен модный набор инструментов, а можно использовать данные о ваших пользователях. Маркетинговая персонализация может быть как простой – направлять нужный контент в нужные места, так и сложной – основываться на индивидуальных действиях пользователя. Однако не стоит сразу же бросаться на персонализацию. Убедитесь, что вы потратили достаточно времени, чтобы сначала правильно освоить основы.
Алекс Биркетт, Omniscient Digital
На высоком уровне я стараюсь следовать этому процессу:
- Собирать данные и следить за точностью внедрения аналитики.
- Анализируйте данные и находите идеи.
- Превратите понимание в гипотезу.
- Расставьте приоритеты с учетом воздействия и простоты и максимально эффективно распределите ресурсы (особенно технические).
- Проведите тест (следуя лучшим практикам статистики в меру своих знаний и возможностей).
- Проанализировать результаты и внедрить или не внедрить в соответствии с результатами.
- Итерация на основе полученных результатов и повторение.
Проще говоря: исследование, тестирование, анализ, повторение. Хотя этот процесс может отклоняться или меняться в зависимости от контекста (тестирую ли я важную для бизнеса функцию продукта? CTA-пост в блоге? Каков профиль риска и баланс между инновациями и снижением рисков?), он вполне применим к компании любого размера и типа. Суть в том, что этот процесс является гибким, но он также собирает достаточно данных, как качественных отзывов клиентов, так и количественной аналитики, чтобы иметь возможность придумать лучшие идеи для тестирования и лучше расставить приоритеты, чтобы вы могли привлечь трафик в свой интернет-магазин.
Тон Весселинг, Онлайн-диалог
Первый вопрос, на который мы всегда отвечаем, когда хотим оптимизировать путешествие клиента, это: Где находится этот продукт или услуга в модели ROAR, которую мы создали в Online Dialogue? Вы все еще находитесь на стадии риска, когда мы можем провести множество исследований, но не можем подтвердить наши выводы с помощью A/B-тестов (менее 1 000 конверсий в месяц), или вы находитесь на стадии оптимизации? Или даже выше?
- Фаза риска: множество исследований, которые будут воплощены во что угодно – от поворота бизнес-модели до совершенно нового дизайна и ценностного предложения.
- Фаза оптимизации: крупные эксперименты, которые позволят оптимизировать ценностное предложение и бизнес-модель.
- Фаза оптимизации: небольшие эксперименты для подтверждения гипотез о поведении пользователей, которые позволят накопить знания для более серьезных изменений в дизайне.
- Автоматизация: у вас еще остались силы для экспериментов (посетители), а это значит, что весь ваш потенциал тестирования не нужен для проверки вашего путешествия пользователя. То, что осталось, должно быть использовано для использования, чтобы расти быстрее сейчас (не фокусируясь на долгосрочных знаниях). Это может быть автоматизировано путем запуска бандитов/использования алгоритмов.
- Переосмысление: вы перестаете добавлять много исследований, если только это не поворот к чему-то новому.
Таким образом, A/B-тестирование веб-сайтов или приложений является важной вещью только на этапе оптимизации ROAR и далее (до переосмысления). Наш подход к проведению экспериментов – это модель FACT & ACT:
Исследования, которые мы проводим, основаны на нашей модели 5V:
Мы собираем все эти данные, чтобы выработать основную гипотезу, подкрепленную исследованиями, которая приведет к появлению подгипотез, приоритетность которых будет определяться на основе данных, полученных в ходе настольного или мобильного A/B-тестирования. Чем выше вероятность того, что гипотеза верна, тем выше она будет ранжирована. Как только мы узнаем, верна наша гипотеза или ложна, мы можем начать объединять полученные данные и предпринимать более серьезные шаги, перепроектируя/перестраивая более крупные части пути клиента. Однако в какой-то момент все выигрышные реализации приведут к локальному максимуму. Затем необходимо сделать еще больший шаг, чтобы достичь потенциального глобального максимума. И, конечно же, основные выводы будут распространяться по всей компании, что приведет к всевозможным более широким оптимизациям и инновациям, основанным на ваших проверенных знаниях от первого лица. Вы занимаетесь маркетингом для международной аудитории? Узнайте, как упростить этот процесс с помощью псевдолокализации.
Юлия Старостенко, Pinterest
Цель эксперимента – подтвердить, что внесение изменений в существующую веб-страницу окажет положительное влияние на бизнес. Прежде чем приступать к эксперименту, важно определить, действительно ли он необходим. Рассмотрим следующий сценарий: имеется кнопка с крайне низкой частотой нажатий. Снизить эффективность этой кнопки будет практически невозможно. Поэтому подтверждение эффективности предлагаемого изменения кнопки (т.е. проведение эксперимента) не является необходимым. Аналогично, если предлагаемое изменение кнопки невелико, вероятно, не стоит тратить время на установку, проведение и завершение эксперимента. В этом случае изменения следует просто распространить на всех, а работу кнопки можно отслеживать. Если установлено, что проведение эксперимента действительно будет полезным, следующим шагом будет определение бизнес-показателей, которые необходимо улучшить (например, увеличить коэффициент конверсии кнопки). Затем мы обеспечиваем надлежащий сбор данных. После этого проводится случайное тестирование аудитории, разделенное на две группы: одной группе показывают существующую версию кнопки, а другая получает новую версию. Отслеживается коэффициент конверсии каждой аудитории, и по достижении статистической значимости определяются результаты эксперимента.
Пип Ладжа, CXL
A/B-тестирование – это часть общей картины оптимизации конверсии. По моему мнению, на 80% это исследование и только на 20% – тестирование. Исследование конверсии поможет вам определить, что тестировать для начала. Мой процесс обычно выглядит следующим образом (упрощенное резюме):
- Проведите исследование конверсии с помощью такой структуры, как ResearchXL, чтобы выявить проблемы на вашем сайте.
- Выберите проблему с высоким приоритетом (ту, которая затрагивает большую часть пользователей и является серьезной проблемой) и проведите мозговой штурм как можно большего количества решений этой проблемы. В процессе разработки идей используйте результаты исследования конверсии. Определите, на каком устройстве вы хотите провести тест (мобильное A/B-тестирование нужно проводить отдельно от настольного).
- Определите, сколько вариантов вы можете протестировать (исходя из вашего трафика/уровня транзакций), а затем выберите одну-две лучшие идеи решения для тестирования против контроля.
- Составьте точную схему действий (напишите копию, внесите изменения в дизайн и т.д.) В зависимости от масштаба изменений, вам также может потребоваться привлечение дизайнера для разработки новых элементов.
- Попросите разработчика фронтенда внедрить процедуры в ваш инструмент тестирования. Настройте необходимые интеграции (Google Analytics) и установите соответствующие цели.
- Проведите QA теста (неработающие тесты – самый большой убийца A/B тестирования), чтобы убедиться, что он работает в каждом браузере/устройстве.
- Запустите тест!
- После завершения тестирования проведите анализ после тестирования.
- В зависимости от результата либо внедряйте победителя, либо итеративно дорабатывайте его, либо тестируйте что-то другое.
Оптимизация A/B-тестирования для вашего бизнеса
У вас есть процесс, у вас есть сила! Итак, отправляйтесь туда, приобретите лучшее программное обеспечение для A/B-тестирования и начните тестировать свой магазин. Вы и глазом не успеете моргнуть, как полученные результаты превратятся в дополнительные деньги в вашем банке. Если вы хотите продолжить изучение оптимизации, пройдите бесплатный курс, например, Udacity’s A/B testing by Google. Вы сможете узнать больше об A/B-тестировании веб-приложений и мобильных приложений, чтобы повысить свою квалификацию в области оптимизации.
FAQ по A/B тестированию
Что такое А/Б тестирование? На самом базовом уровне A/B-тестирование – это тестирование двух версий чего-либо, чтобы увидеть, какая из них работает лучше. Вы можете проводить A/B-тестирование различных вещей, связанных с вашим бизнесом, включая посты в социальных сетях, контент, электронную почту и страницы товаров.
Что является примером A/B-тестирования? Примером A/B-тестирования может быть запуск платного трафика на две немного отличающиеся страницы с товарами, чтобы посмотреть, какая из них имеет самый высокий коэффициент конверсии.
Примером A/B-тестирования может быть запуск платного трафика на две немного отличающиеся страницы с товарами, чтобы посмотреть, на какой странице коэффициент конверсии выше. Чтобы убедиться, что ваши A/B-тесты могут дать ценную информацию, рекомендуется, чтобы посещаемость одной страницы составляла более 5 000 посетителей.
