Как я сервис для АБ-тестов выбирал

Как я сервис для АБ-тестов выбирал

25.04.2024 0 Автор pavezlo

Привет. Меня зовут Паша Злобин — я маркетолог-аналитик в IT-Agency. В агентстве я запускаю рекламные проекты для топовых компаний России, строю конвейер-гипотез и провожу А/В-тесты — всё ради непоправимой пользы клиентам.

А поскольку А/В-тесты занимают большую часть моего рабочего времени, я задался вопросом поиска стабильно работающего инструмента, который не стыдно показать большим клиентам. В статье расскажу, какие есть доступные варианты и их плюсы и минусы, а также разберу какой-нибудь более сложный инструмент. Поехали!

Зачем нужны сервисы АБ тестирования

Многие наверняка помнят сервис Google Optimize. Его часто называют родоначальником в области массовых АБ тестов для сайтов. Во всяком случае так говорили, когда я только был в начале своего пути.

Гугловский сервис позволял с помощью удобного визуального редактора настраивать тесты на сайте, меняя элементы, разделяя тестовый трафик и получая достоверные результаты для выводов.

Тем, кто не в теме, например, хотите вы поменять заголовок на первом экране лендинга — пожалуйста, сервис вам в помощь. Сделайте 2 варианта с разными текстами. Разделите трафик 50/50 или в другой нужной пропорции. На выходе получите данные по глубине просмотра, удержанию внимания пользователя и т.д.

Или думается вам, что нужно сократить количество полей в форме, чтобы повысить количество конверсий — без проблем. Сократите на тестовом варианте и посмотрите, какой из них принесёт больше конверсий.

Подборка сервисов для проведения А/В-тестов из России

После небольшого экскурса, я хочу рассказать, какие есть варианты для тестирования гипотез и увеличения конверсии на сайте.

Почему я говорю про российские сервисы? До начала СВО, я, как веб-аналитик не встречал сервисов в России. Может, конечно, потребность была не такая и Гугл Оптимайз её закрывал. Но факт в том, что зарубежных сервисов было огромное количество. Виной тому, как мне кажется, служил бум стартапов, который и всполошил рынок немного ранее.

Но тут наступили всем известные события 2022 года, которые при только нарастающем спросе на АВ-тестирование обнажили дефицит отечественных разработок. Да, такой дефицит был везде. Например, я в то время работал с несколькими облачными платформами, которые как одно из главных УТП стали ставить именно соблюдение отечественного 152-ФЗ о персональных данных.

Поэтому в России стали появляться аналогичные стартапы от крупных IT-компаний, чему я несказанно рад.

После небольшой исторической справки, начать хочу с российского аналога Гугл Оптимайза. Почему не с самого гугловского сервиса? Всё просто, его больше нет! Да и как уже говорил, мы за про российские сервисы.

varioqub.ru

Яндекс одним из первых выпустил собственный продукт для А/В-тестирования. Он прекрасен тем, что есть бесплатная версия и доступен в обычном счётчике Яндекс Метрики. НО, тут есть свои подводные камни — функционал бесплатной версии сильно ограничен и использовать его для больших корпораций не имеет смысла.

На бесплатном триале можно тестить что-то небольшое, например, для своего блога, что я и покажу далее.

Платная версия  есть, но с ней я не работал.

Официальный сайт сервиса вот тут

uxrocket.ru

Полностью российская разработка для продуктовой, поведенческой аналитики и АВ тестирования. Помимо этого, платформа предоставляет сервис веб-аналитики, есть возможность персонализировать клиентский  опыт и функционал профиля клиента. На рынок продукт вышел, судя по всему, даже чуть раньше Вариокуба и активно развивается. 

Что касается цен – здесь мы также можем получить бесплатную версию (ограничена количеством MTU) и более серьёзный функционал для крупного бизнеса. Тарифы прозрачны и размещены на сайте продукта.

Официальный сайт сервиса вот тут.

expf.ru/sigma

Ещё один российский сервис для А/В-тестирования. Судя по информации на сайте есть гибкая сегментация, фильтрация по собственным идентификаторам пользователей.

По описанию, продукт интересный. Забегая вперёд, скажу, что, к сожалению, попробовать его на вкус у меня так и не получилось, т.к. для этого нужно подписывать договор. Во всяком случае я договорился о презентации и если будет что-то интересное, добавлю потом в статью.

Официальный сайт сервиса вот тут.

Выбор элемента для АБ теста

Поскольку я решил искать сервис для больших клиентов в агентстве, но при этом пробовать на рабочих проектах и одновременно показывать вам всё я не могу из-за NDA, тесты проведу на примере своего блога → pavezlo.ru

Мой блог создан на Вордпресс и, как я понял, после общения с разработчиком, особо разгуляться с АБ тестами не получится. Например, запустить в тест другой вариант серого узкого баннера не так-то просто ввиду того, что он реализован через виджеты Вордпресса, в которых всё сложно.

Поэтому я решил брать, что попроще и остановился на двух вариантах:

  • Тест текста в заголовке;
  • Тест картинки на одной из статей (та, что с клубничкой).

Далее, как уже говорил, я возьму российские сервисы и настрою в каждом АВ-тесты.

Настройка теста в UX Rocket

Перейдём непосредственно к заведению А/В-тестов. Сначала переходим в разделе эксперименты и жмём «Кампании разработка».

После нажатия кнопки «Добавить» появляется окно, в котором и не так много настроек, я на старте ожидал тут увидеть полноценный блок с настройками, но тут мы чисто вводим название и выбираем наш домен.

Я завёл сразу два АВ-теста. Один на картинку для статьи и один для текста на главной, как и говорил ранее. Далее кликаем по названию теста и проваливаемся внутрь, где собственно и скрываются все настройки.

Там нужно сделать несколько важных вещей.

Добавить тестовый вариант

Чтобы в нём потом внести изменения и получать по ним данные.

Добавить правила разделения трафика

Чаще всего это 50/50, но в зависимости от задачи, может различаться.

Добавить целевые действия

Чтобы оценивать эффективность АВ-тестов, нужно определить, с помощью чего это будет делаться. Отправки формы, клики по кнопке, просмотры и т.д. В моём случае это клик по статье, чтобы перейти к её прочтению и просмотр страницы.

Для этого нужно перейти в соответствующий раздел и добавить их.

Важный этап, чтобы целевые действия у нас срабатывали и отслеживались, необходимо добавить их к страницам теста, в нашем случае это все страницы сайта. Идём в соответствующий раздел «Страницы».

И добавляем туда наши действия.

Настроить изменения для АБ-теста

Остался один блок, причём самый ключевой, т.к. именно в нём нужно прописать изменения на сайте. Как я понял, там есть два варианта, сделать это через код либо непосредственно на сайте.

А поскольку я с кодом не очень дружу, я выбрал «Настроить на сайте». Давайте расскажу, как я настраивал тесты там.

Кратко говоря, в визуальном редакторе выбираем элемент, вносим в него правки, добавляем действие для отслеживания и сохраняем.

На финальном этапе остаётся только запустить АB-тест.

Анализ результатов

Аналитика запущенных тестов отслеживается в отдельном разделе. Покажу, что я получил по тесту картинки для статьи.

На картинке видно, что новый вариант картинки сильно проигрывает исходному варианту. Что, собственно, подтверждает и встроенный в сервис раздел рекомендаций.

Добавлю, что система сама рассчитывает вероятность ошибки и определяет продолжительность эксперимента (удобно – факт!)

Выводы

Мне сервис понравился, он позволяет делать гибкие настройки фактически с любой сложностью реализации. При этом сначала множество блоков для настроек испугало, но в итоге каждый из них — это дополнительная возможность для настройки тестов. Кроме того, функционал позволяет реализовать гораздо более сложные гипотезы и изменение целых сценариев, что, безусловно, интересно крупным компаниям.

Отметил, что на старте разобраться самому сложно, поэтому используйте инструкции и помощь поддержки сервиса — всё подробно расскажут и покажут.

Второй тест я уже настраивал сам без помощи. Всё получилось с первого раза.

Настройка теста в Вариакубе

Для запуска АВ-теста в Вариакубе Яндекс Метрики нужно перейти в соответствующий раздел из меню счётчика.

После чего необходимо установить код счётчика Вариакуба на сайте. Процесс такой же, как и с Метрикой, просто ставите в раздел head сайта нужный код и после этого у вас открывается возможность создавать эксперименты.

Создание АБ-теста в Вариакубе

Создаём новый и называем его созвучно тестируемому элементу на сайте. В настройках есть отдельный блок про конверсии, с помощью которых можно отслеживать эффективность АВ-тестов. Это очень удобно, т.к. по идее это все цели, которые и так используются в веб-аналитике и дополнительно настраивать ничего не нужно.

Внесение изменений в АВ-тест

Самый важный блок – настройка вариантов теста. Тут также есть исходный вариант без изменений и возможность добавлять новые, для теста. По умолчанию один тестовый уже создан.

Вся настройка происходит в визуальном редакторе, для этого проваливаемся в «Вариант 1» (его, кстати, лучше переименовать в более понятное описание).

Тут выбираем нужный элемент и в специальном окне вносим изменения в текст. Как вы видите, там можно менять и цвет текста/фона, и размер. Также есть доступ к css и html коду, которые проще использовать разработчикам.

Анализ результатов

В Вариакубе мне понравилось, как отображаются результаты АБ-тестов. То есть помимо банальных лучше/хуже по конверсии и last click, сервис считает доверительный интервал и p-value — показатели, которые демонстрируют достоверность АВ-теста, а также достаточно ли данных для однозначного принятия решений по эксперименту.

Сравнение сервисов

Я показал, как настраивать тесты в двух сервисах, но не коснулся прочих их функций. Кратко опишу основные из возможностей.

UxrocketВариокубEXPF
Простая установка на сайтДаДаДа
Сбор данных на сайтеДаДаДа
Интеграция с Яндекс ДиректДаДаНеизвестно
Интеграция с Google Big QueryДаДаДа
Интеграция с CRMДаДаНет
Сквозная аналитикаДаДаДа
Детализированный отчетДаДаДа
Модели атрибуцииЕстьЕстьЕсть
AI-модели для выявления проблемЕстьНетНеизвестно
Метрика и аналитика по тесту в одной вкладкеНетДаНеизвестно
Тесты для сайтаДаДаДа
Тесты для мобильного приложенияДаДаДа
Построение воронокДаНетНеизвестно
Автоматическое выделение сегментовДаНетНеизвестно
Персонализированный контентДаДаНеизвестно
Профиль клиентаДаДаНет
Входит в реестр отечественного ПОДаДаНа РФ серверах, но неизвестно насчёт реестра 
Сравнительная таблица

Выводы

В рамках своих задач я попробовал два сервиса и могу их сравнить между собой. Если говорить о простоте и лёгкости запусков, то, на мой взгляд, выигрывает Вариакуб Яндекс Метрики, если говорить про вариативность настроек и гибкость — то, однозначно, UХ Rocket.

Основываясь на своём опыте запусков АВ-тестов для клиентов, бизнесу чаще всего нужна именно возможность настройки сложных, кастомных экспериментов, где лучше подойдёт UX Rocket. Для малого же бизнеса и своего блога — мне достаточно и Вариакуба.

Заключение

Если вам нужна помощь в запуске АБ-тестов, пишите мне в Телеграм или подписывайтесь на мой блог — там я много делюсь статьями про аналитику и маркетинг.