Привет. Меня зовут Паша Злобин — я маркетолог-аналитик в IT-Agency. В агентстве я запускаю рекламные проекты для топовых компаний России, строю конвейер-гипотез и провожу А/В-тесты — всё ради непоправимой пользы клиентам.

А поскольку А/В-тесты занимают большую часть моего рабочего времени, я задался вопросом поиска стабильно работающего инструмента, который не стыдно показать большим клиентам. В статье расскажу, какие есть доступные варианты и их плюсы и минусы, а также разберу какой-нибудь более сложный инструмент. Поехали!

Зачем нужны сервисы АБ тестирования

Многие наверняка помнят сервис Google Optimize. Как говорится родоначальник в области массовых АБ тестов для сайтов, во всяком случае для меня, в те времена юного маркетолога и моего ближайшего окружения. Гугловский сервис позволял с помощью удобного визуального редактора настраивать тесты на вашем сайте, меняя элементы, разделяя тестовый трафик и получая достоверные результаты для выводов.

Тем кто не в теме, например, хотите вы поменять заголовок на первом экране лендинга — пожалуйста, сервис вам в помощь. Сделайте два варианта с разными текстами, разделите трафик 50/50 или в нужной вам пропорции и на выходе получите данные, у кого глубина просмотра выше или время на сайте и тому подобные срезы.

Или думается вам, что нужно сократить количество полей в форме, чтобы повысить количество конверсий — без проблем. Сократите на тестовом варианте и посмотрите, какой из них принесёт больше конверсий.

Подборка сервисов для проведения А/В-тестов из России

Так вот после небольшого экскурса, я хочу рассказать, а какие вообще варианты для тестирования гипотез и увеличения конверсии на сайте есть.

Почему я говорю про российские сервисы? До начала СВО, я, как веб-аналитик не встречал сервисов в России. Может, конечно, потребность была не такая и Гугл Оптимайз её закрывал, но факт был в том, что зарубежных подобных сервисов было огромное количество. Виной тому, как мне кажется, служил бум стартапов, который и всполошил рынок немного ранее.

Но тут наступили всем известные события 2022 года, которые при только нарастающем спросе на АВ-тестирование обнажили дефицит отечественных разработок. Да, такой дефицит был везде — например, я в то время работал с несколькими облачными платформами, которые как одно из главных УТП стали ставить именно соблюдение отечественного 152-ФЗ о персональных данных.

Поэтому в России стали появляться аналогичные стартапы от крупных IT-компаний, чему я несказанно рад.

Но, давайте продолжать, после небольшой исторической справки, начать хочу с российского аналога Гугл Оптимайза. Почему не с самого гугловского сервиса? Всё просто, его больше нет! Да и как уже говорил, мы за про российские сервисы.

varioqub.ru

Яндекс одним из первых выпустил собственный продукт для А/В-тестирования. Он прекрасен тем, что есть бесплатная версия и доступен в обычном счётчике Яндекс Метрики. НО, тут есть свои подводные камни — функционал бесплатной версии сильно ограничен и использовать его для больших корпораций не имеет смысла.

На бесплатном триале можно тестить что-то небольшое, например, для своего блога, что я и покажу далее.

Платная версия  есть, но с ней я не работал.

Официальный сайт сервиса вот тут. 

uxrocket.ru

Полностью российская разработка для продуктовой, поведенческой аналитики и АВ тестирования. Помимо этого платформа предоставляет сервис веб-аналитики, есть возможность персонализировать клиентский  опыт и функционал профиля клиента. На рынок продукт вышел, судя по всему, даже чуть раньше Вариокуба и активно развивается. 

Что касается цен – здесь мы также можем получить бесплатную версию (ограничена количеством MTU) и более серьезный функционал для крупного бизнеса. Тарифы прозрачны и размещены на сайте продукта.

Официальный сайт сервиса вот тут.

expf.ru/sigma

Ещё один российский сервис для А/В-тестирования. Судя по информации на сайте есть гибкая сегментация, фильтрация по собственным идентификаторам пользователей.

По описанию, продукт интересный. Забегая вперед, скажу, что к сожалению попробовать его на вкус у меня так и не получилось, т.к. для этого нужно подписывать договор. Во всяком случае я договорился о презентации и если будет что-то интересное, добавлю потом в статью.

Официальный сайт сервиса вот тут.

Выбор элемента для АБ теста

Поскольку я решил искать сервис для больших клиентов в агентстве, но при этом пробовать на рабочих проектах и одновременно показывать вам всё я не могу из-за NDA, тесты проведу на примере своего блога → pavezlo.ru

Мой блог создан на Вордпресс и, как я понял, после общения с разработчиком, особо разгуляться с АБ тестами не получится. Например, запустить в тест другой вариант серого узкого баннера не так-то просто ввиду того, что он реализован через виджеты Вордпресса в которых всё сложно.

Поэтому я решил брать что попроще и остановился на двух вариантах:

• Тест текста в заголовке;
• Тест картинки на одной из статей (та что с клубничкой).

Далее, как уже говорил, я возьму российские сервисы и настрою в каждом АВ-тесты.

Настройка теста в UX Rocket

Перейдём непосредственно к заведению А/В-тестов. Сначала переходим в разделе эксперименты и жмём «Кампании разработка».

После нажатия кнопки «Добавить» появляется окно в котором и не так много настроек, я на старте ожидал тут увидеть полноценный блок с настройками, но тут мы чисто вводим название и выбираем наш домен.

Я завёл сразу два АВ-теста. Один на картинку для статьи и один для текста на главной, как и говорил ранее. Далее кликаем по названию теста и проваливаемся внутрь, где собственно и скрываются все настройки.

Там нужно сделать несколько важных вещей.

Добавить тестовый вариант

Чтобы в нём потом внести изменения и получать по ним данные.

Добавить правила разделения трафика

Чаще всего это 50/50, но в зависимости от задачи, может различаться.

Добавить целевые действия

Чтобы оценивать эффективность АВ-тестов нужно определить, с помощью чего это будет делаться. Отправки формы, клики по кнопке, просмотры и т.д. В моём случае это клик по статье, чтобы перейти к её прочтению и просмотр страницы.

Для этого нужно перейти в соответствующий раздел и добавить их.

Важный этап, чтобы целевые действия у нас срабатывали и отслеживались, необходимо добавить их к страницам теста, в нашем случае это все страницы сайта. Идём в соответствующий раздел «Страницы».

И добавляем туда наши действия.

Настроить изменения для АБ-теста

Остался один блок, причём самый ключевой, т.к. именно в нём нужно прописать изменения на сайте. Как я понял, там есть два варианта, сделать это через код либо непосредственно на сайте.

А поскольку я с кодом не очень дружу, я выбрал «Настроить на сайте». Давайте расскажу, как я настраивал тесты там.

Кратко говоря, в визуальном редакторе выбираем элемент, вносим в него правки, добавляем действие для отслеживания и сохраняем.

На финальном этапе остается только запустить АB-тест.

Анализ результатов

Аналитика запущенных тестов отслеживается в отдельном разделе. Покажу, что я получил по тесту картинки для статьи.

На картинке видно, что новый вариант картинки сильно проигрывает исходному варианту. Что собственно подтверждает и встроенный в сервис раздел рекомендаций.

Добавлю, что система сама рассчитывает вероятность ошибки и определяет продолжительность эксперимента (удобно – факт!)

Выводы

Мне сервис понравился, он позволяет делать гибкие настройки фактически с любой сложностью реализации. При этом сначала множество блоков для настроек испугало, но в итоге каждый из них — это дополнительная возможность для настройки тестов. Кроме того, функционал позволяет реализовать гораздо более сложные гипотезы и изменение целых сценариев, что, безусловно, интересно крупным компаниям.

Отметил, что на старте разобраться самому сложно, поэтому используйте инструкции и помощь поддержки сервиса — всё подробно расскажут и покажут.

Второй тест я уже настраивал сам без их помощи и в целом всё получилось.

Настройка теста в Вариакубе

Для запуска АВ-теста в Вариакубе Яндекс Метрики нужно перейти в соответствующий раздел из меню счётчика.

После чего необходимо установить код счётчика Вариакуба на сайте. Процесс такой же как и с Метрикой, просто ставите в раздел head сайта нужный код и после этого у вас открывается возможность создавать эксперименты.

Создание АБ-теста в Вариакубе

Создаём новый и называем его созвучно тестируемому элементу на сайте. В настройках есть отдельный блок про конверсии, с помощью которых можно отслеживать эффективность АВ-тестов. Это очень удобно, т.к. по идее это все цели которые и так используются в веб-аналитике и дополнительно настраивать ничего не нужно.

Внесение изменений в АВ-тест

Самый важный блок это настройка вариантов теста. Тут также есть исходный вариант без изменений и возможность добавлять новые, для теста. По умолчанию один тестовый уже создан.

Вся настройка происходит в визуальном редакторе, для этого проваливаемся в «Вариант 1» (его кстати лучше переименовать в более понятное описание).

Тут выбираем нужный элемент и в специальном окне вносим изменения в текст. Как вы видите, там можно менять и цвет текста/фона, и размер. Также есть доступ к css и html коду, которые проще использовать разработчикам.

Анализ результатов

В Вариакубе мне понравилось, как отображаются результаты АБ-тестов. То есть помимо банальных лучше/хуже по конверсии и last click, сервис считает доверительный интервал и p-value — показатели, которые демонстрируют насколько достоверен АВ-тест и достаточно ли данных для однозначного принятия решений по эксперименту.

Сравнение сервисов

Я показал, как настраивать тесты в двух сервисах, но не коснулся прочих их функций. Кратко опишу основные из возможностей.

	Uxrocket	Вариокуб	EXPF
Простая установка на сайт	Да	Да	Да
Сбор данных на сайте	Да	Да	Да
Интеграция с Яндекс Директ	Да	Да	Неизвестно
Интеграция с Google Big Query	Да	Да	Да
Интеграция с CRM	Да	Да	Нет
Сквозная аналитика	Да	Да	Да
Детализированный отчет	Да	Да	Да
Модели атрибуции	Есть	Есть	Есть
AI-модели для выявления проблем	Есть	Нет	Неизвестно
Метрика и аналитика по тесту в одной вкладке	Нет	Да	Неизвестно
Тесты для сайта	Да	Да	Да
Тесты для мобильного приложения	Да	Да	Да
Построение воронок	Да	Нет	Неизвестно
Автоматическое выделение сегментов	Да	Нет	Неизвестно
Персонализированный контент	Да	Да	Неизвестно
Профиль клиента	Да	Да	Нет
Входит в реестр отечественного ПО	Да	Да	На РФ серверах, но неизвестно насчёт реестра

Выводы

В рамках своих задач я попробовал два сервиса и могу их сравнить между собой. Если говорить о простоте и лёгкости запусков, то на мой взгляд выигрывает Вариакуб Яндекс Метрики, если говорить про вариативность настроек и гибкость — то, однозначно, UХ Rocket.

Основываясь на своём опыте запусков АВ-тестов для клиентов, бизнесу чаще всего нужна именно возможность настройки сложных, кастомных экспериментов, где лучше подойдёт UX Rocket. Для малого же бизнеса и своего блога — мне достаточно и Вариакуба.

Заключение

Если вам нужна помощь в запуске АБ-тестов, пишите мне в Телеграм или подписывайтесь на мой блог — там я много делюсь статьями про аналитику и маркетинг.