Как я сервис для АБ-тестов выбирал
Привет. Меня зовут Паша Злобин — я маркетолог-аналитик в IT-Agency. В агентстве я запускаю рекламные проекты для топовых компаний России, строю конвейер-гипотез и провожу А/В-тесты — всё ради непоправимой пользы клиентам.
А поскольку А/В-тесты занимают большую часть моего рабочего времени, я задался вопросом поиска стабильно работающего инструмента, который не стыдно показать большим клиентам. В статье расскажу, какие есть доступные варианты и их плюсы и минусы, а также разберу какой-нибудь более сложный инструмент. Поехали!
Зачем нужны сервисы АБ тестирования
Многие наверняка помнят сервис Google Optimize. Его часто называют родоначальником в области массовых АБ тестов для сайтов. Во всяком случае так говорили, когда я только был в начале своего пути.
Гугловский сервис позволял с помощью удобного визуального редактора настраивать тесты на сайте, меняя элементы, разделяя тестовый трафик и получая достоверные результаты для выводов.
Тем, кто не в теме, например, хотите вы поменять заголовок на первом экране лендинга — пожалуйста, сервис вам в помощь. Сделайте 2 варианта с разными текстами. Разделите трафик 50/50 или в другой нужной пропорции. На выходе получите данные по глубине просмотра, удержанию внимания пользователя и т.д.
Или думается вам, что нужно сократить количество полей в форме, чтобы повысить количество конверсий — без проблем. Сократите на тестовом варианте и посмотрите, какой из них принесёт больше конверсий.
Подборка сервисов для проведения А/В-тестов из России
После небольшого экскурса, я хочу рассказать, какие есть варианты для тестирования гипотез и увеличения конверсии на сайте.
Почему я говорю про российские сервисы? До начала СВО, я, как веб-аналитик не встречал сервисов в России. Может, конечно, потребность была не такая и Гугл Оптимайз её закрывал. Но факт в том, что зарубежных сервисов было огромное количество. Виной тому, как мне кажется, служил бум стартапов, который и всполошил рынок немного ранее.
Но тут наступили всем известные события 2022 года, которые при только нарастающем спросе на АВ-тестирование обнажили дефицит отечественных разработок. Да, такой дефицит был везде. Например, я в то время работал с несколькими облачными платформами, которые как одно из главных УТП стали ставить именно соблюдение отечественного 152-ФЗ о персональных данных.
Поэтому в России стали появляться аналогичные стартапы от крупных IT-компаний, чему я несказанно рад.
После небольшой исторической справки, начать хочу с российского аналога Гугл Оптимайза. Почему не с самого гугловского сервиса? Всё просто, его больше нет! Да и как уже говорил, мы за про российские сервисы.
varioqub.ru
Яндекс одним из первых выпустил собственный продукт для А/В-тестирования. Он прекрасен тем, что есть бесплатная версия и доступен в обычном счётчике Яндекс Метрики. НО, тут есть свои подводные камни — функционал бесплатной версии сильно ограничен и использовать его для больших корпораций не имеет смысла.
На бесплатном триале можно тестить что-то небольшое, например, для своего блога, что я и покажу далее.
Платная версия есть, но с ней я не работал.
Официальный сайт сервиса вот тут.
uxrocket.ru
Полностью российская разработка для продуктовой, поведенческой аналитики и АВ тестирования. Помимо этого, платформа предоставляет сервис веб-аналитики, есть возможность персонализировать клиентский опыт и функционал профиля клиента. На рынок продукт вышел, судя по всему, даже чуть раньше Вариокуба и активно развивается.
Что касается цен – здесь мы также можем получить бесплатную версию (ограничена количеством MTU) и более серьёзный функционал для крупного бизнеса. Тарифы прозрачны и размещены на сайте продукта.
Официальный сайт сервиса вот тут.
expf.ru/sigma
Ещё один российский сервис для А/В-тестирования. Судя по информации на сайте есть гибкая сегментация, фильтрация по собственным идентификаторам пользователей.
По описанию, продукт интересный. Забегая вперёд, скажу, что, к сожалению, попробовать его на вкус у меня так и не получилось, т.к. для этого нужно подписывать договор. Во всяком случае я договорился о презентации и если будет что-то интересное, добавлю потом в статью.
Официальный сайт сервиса вот тут.
Выбор элемента для АБ теста
Поскольку я решил искать сервис для больших клиентов в агентстве, но при этом пробовать на рабочих проектах и одновременно показывать вам всё я не могу из-за NDA, тесты проведу на примере своего блога → pavezlo.ru
Мой блог создан на Вордпресс и, как я понял, после общения с разработчиком, особо разгуляться с АБ тестами не получится. Например, запустить в тест другой вариант серого узкого баннера не так-то просто ввиду того, что он реализован через виджеты Вордпресса, в которых всё сложно.
Поэтому я решил брать, что попроще и остановился на двух вариантах:
- Тест текста в заголовке;
- Тест картинки на одной из статей (та, что с клубничкой).
Далее, как уже говорил, я возьму российские сервисы и настрою в каждом АВ-тесты.
Настройка теста в UX Rocket
Перейдём непосредственно к заведению А/В-тестов. Сначала переходим в разделе эксперименты и жмём «Кампании разработка».
После нажатия кнопки «Добавить» появляется окно, в котором и не так много настроек, я на старте ожидал тут увидеть полноценный блок с настройками, но тут мы чисто вводим название и выбираем наш домен.
Я завёл сразу два АВ-теста. Один на картинку для статьи и один для текста на главной, как и говорил ранее. Далее кликаем по названию теста и проваливаемся внутрь, где собственно и скрываются все настройки.
Там нужно сделать несколько важных вещей.
Добавить тестовый вариант
Чтобы в нём потом внести изменения и получать по ним данные.
Добавить правила разделения трафика
Чаще всего это 50/50, но в зависимости от задачи, может различаться.
Добавить целевые действия
Чтобы оценивать эффективность АВ-тестов, нужно определить, с помощью чего это будет делаться. Отправки формы, клики по кнопке, просмотры и т.д. В моём случае это клик по статье, чтобы перейти к её прочтению и просмотр страницы.
Для этого нужно перейти в соответствующий раздел и добавить их.
Важный этап, чтобы целевые действия у нас срабатывали и отслеживались, необходимо добавить их к страницам теста, в нашем случае это все страницы сайта. Идём в соответствующий раздел «Страницы».
И добавляем туда наши действия.
Настроить изменения для АБ-теста
Остался один блок, причём самый ключевой, т.к. именно в нём нужно прописать изменения на сайте. Как я понял, там есть два варианта, сделать это через код либо непосредственно на сайте.
А поскольку я с кодом не очень дружу, я выбрал «Настроить на сайте». Давайте расскажу, как я настраивал тесты там.
Кратко говоря, в визуальном редакторе выбираем элемент, вносим в него правки, добавляем действие для отслеживания и сохраняем.
На финальном этапе остаётся только запустить АB-тест.
Анализ результатов
Аналитика запущенных тестов отслеживается в отдельном разделе. Покажу, что я получил по тесту картинки для статьи.
На картинке видно, что новый вариант картинки сильно проигрывает исходному варианту. Что, собственно, подтверждает и встроенный в сервис раздел рекомендаций.
Добавлю, что система сама рассчитывает вероятность ошибки и определяет продолжительность эксперимента (удобно – факт!)
Выводы
Мне сервис понравился, он позволяет делать гибкие настройки фактически с любой сложностью реализации. При этом сначала множество блоков для настроек испугало, но в итоге каждый из них — это дополнительная возможность для настройки тестов. Кроме того, функционал позволяет реализовать гораздо более сложные гипотезы и изменение целых сценариев, что, безусловно, интересно крупным компаниям.
Отметил, что на старте разобраться самому сложно, поэтому используйте инструкции и помощь поддержки сервиса — всё подробно расскажут и покажут.
Второй тест я уже настраивал сам без помощи. Всё получилось с первого раза.
Настройка теста в Вариакубе
Для запуска АВ-теста в Вариакубе Яндекс Метрики нужно перейти в соответствующий раздел из меню счётчика.
После чего необходимо установить код счётчика Вариакуба на сайте. Процесс такой же, как и с Метрикой, просто ставите в раздел head сайта нужный код и после этого у вас открывается возможность создавать эксперименты.
Создание АБ-теста в Вариакубе
Создаём новый и называем его созвучно тестируемому элементу на сайте. В настройках есть отдельный блок про конверсии, с помощью которых можно отслеживать эффективность АВ-тестов. Это очень удобно, т.к. по идее это все цели, которые и так используются в веб-аналитике и дополнительно настраивать ничего не нужно.
Внесение изменений в АВ-тест
Самый важный блок – настройка вариантов теста. Тут также есть исходный вариант без изменений и возможность добавлять новые, для теста. По умолчанию один тестовый уже создан.
Вся настройка происходит в визуальном редакторе, для этого проваливаемся в «Вариант 1» (его, кстати, лучше переименовать в более понятное описание).
Тут выбираем нужный элемент и в специальном окне вносим изменения в текст. Как вы видите, там можно менять и цвет текста/фона, и размер. Также есть доступ к css и html коду, которые проще использовать разработчикам.
Анализ результатов
В Вариакубе мне понравилось, как отображаются результаты АБ-тестов. То есть помимо банальных лучше/хуже по конверсии и last click, сервис считает доверительный интервал и p-value — показатели, которые демонстрируют достоверность АВ-теста, а также достаточно ли данных для однозначного принятия решений по эксперименту.
Сравнение сервисов
Я показал, как настраивать тесты в двух сервисах, но не коснулся прочих их функций. Кратко опишу основные из возможностей.
Uxrocket | Вариокуб | EXPF | |
Простая установка на сайт | Да | Да | Да |
Сбор данных на сайте | Да | Да | Да |
Интеграция с Яндекс Директ | Да | Да | Неизвестно |
Интеграция с Google Big Query | Да | Да | Да |
Интеграция с CRM | Да | Да | Нет |
Сквозная аналитика | Да | Да | Да |
Детализированный отчет | Да | Да | Да |
Модели атрибуции | Есть | Есть | Есть |
AI-модели для выявления проблем | Есть | Нет | Неизвестно |
Метрика и аналитика по тесту в одной вкладке | Нет | Да | Неизвестно |
Тесты для сайта | Да | Да | Да |
Тесты для мобильного приложения | Да | Да | Да |
Построение воронок | Да | Нет | Неизвестно |
Автоматическое выделение сегментов | Да | Нет | Неизвестно |
Персонализированный контент | Да | Да | Неизвестно |
Профиль клиента | Да | Да | Нет |
Входит в реестр отечественного ПО | Да | Да | На РФ серверах, но неизвестно насчёт реестра |
Выводы
В рамках своих задач я попробовал два сервиса и могу их сравнить между собой. Если говорить о простоте и лёгкости запусков, то, на мой взгляд, выигрывает Вариакуб Яндекс Метрики, если говорить про вариативность настроек и гибкость — то, однозначно, UХ Rocket.
Основываясь на своём опыте запусков АВ-тестов для клиентов, бизнесу чаще всего нужна именно возможность настройки сложных, кастомных экспериментов, где лучше подойдёт UX Rocket. Для малого же бизнеса и своего блога — мне достаточно и Вариакуба.
Заключение
Если вам нужна помощь в запуске АБ-тестов, пишите мне в Телеграм или подписывайтесь на мой блог — там я много делюсь статьями про аналитику и маркетинг.