Все прекрасно знакомы со значением тестирований в деле повышения конверсии. Большинство маркетологов используют в своей работе сплит-тесты. Наиболее часто на практике применяют A/B-тесты (либо их вариацию A/B/n-тесты) и реже MVT-тесты. В данной статье поговорим об этих видах тестирования, необходимости их проведения, возможностях NIGMA для упрощения реализации тестов.
Сплит-тестирование (A/B-тестирование) – проверка двух вариантов интернет-страницы, отличающихся друг от друга одним значимым параметром. Оба варианта страницы должны быть показаны примерно одинаковому по количественным и демографическим характеристикам выборкам посетителей. В случае, если в тесте используется более двух вариантов одной и той же страницы, его называют A/B/n-тестом. Как только будет получено статистически значимое количество показов каждого варианта страницы, можно сделать вывод о том, который из них является более конверсионным. При этом в случае A/B/n-теста не стоит сразу запускать в эксперимент все n вариантов страницы. Более точные результаты получатся, если на первом шаге протестировать пары всех вариантов (например, первый со вторым, третий с четвертым, …, (n-1)-ый с n-ым), а затем повторить такие парные тесты с теми страницами, которые показали себя лучше в паре, и так продолжать до тех пор, пока не останется одна пара победителей, из которой определится однозначный лидер.
Для сплит-тестирования характерны следующие особенности:
Все прекрасно знакомы со значением тестирований в деле повышения конверсии. Большинство маркетологов используют в своей работе сплит-тесты. Наиболее часто на практике применяют A/B-тесты (либо их вариацию A/B/n-тесты) и реже MVT-тесты. В данной статье поговорим об этих видах тестирования, необходимости их проведения, возможностях NIGMA для упрощения реализации тестов.
Сплит-тестирование (A/B-тестирование) – проверка двух вариантов интернет-страницы, отличающихся друг от друга одним значимым параметром. Оба варианта страницы должны быть показаны примерно одинаковому по количественным и демографическим характеристикам выборкам посетителей. В случае, если в тесте используется более двух вариантов одной и той же страницы, его называют A/B/n-тестом. Как только будет получено статистически значимое количество показов каждого варианта страницы, можно сделать вывод о том, который из них является более конверсионным. При этом в случае A/B/n-теста не стоит сразу запускать в эксперимент все n вариантов страницы. Более точные результаты получатся, если на первом шаге протестировать пары всех вариантов (например, первый со вторым, третий с четвертым, …, (n-1)-ый с n-ым), а затем повторить такие парные тесты с теми страницами, которые показали себя лучше в паре, и так продолжать до тех пор, пока не останется одна пара победителей, из которой определится однозначный лидер.
Для сплит-тестирования характерны следующие особенности:
Все прекрасно знакомы со значением тестирований в деле повышения конверсии. Большинство маркетологов используют в своей работе сплит-тесты. Наиболее часто на практике применяют A/B-тесты (либо их вариацию A/B/n-тесты) и реже MVT-тесты. В данной статье поговорим об этих видах тестирования, необходимости их проведения, возможностях NIGMA для упрощения реализации тестов.
Сплит-тестирование (A/B-тестирование) – проверка двух вариантов интернет-страницы, отличающихся друг от друга одним значимым параметром. Оба варианта страницы должны быть показаны примерно одинаковому по количественным и демографическим характеристикам выборкам посетителей. В случае, если в тесте используется более двух вариантов одной и той же страницы, его называют A/B/n-тестом. Как только будет получено статистически значимое количество показов каждого варианта страницы, можно сделать вывод о том, который из них является более конверсионным. При этом в случае A/B/n-теста не стоит сразу запускать в эксперимент все n вариантов страницы. Более точные результаты получатся, если на первом шаге протестировать пары всех вариантов (например, первый со вторым, третий с четвертым, …, (n-1)-ый с n-ым), а затем повторить такие парные тесты с теми страницами, которые показали себя лучше в паре, и так продолжать до тех пор, пока не останется одна пара победителей, из которой определится однозначный лидер.
Для сплит-тестирования характерны следующие особенности:
- С их помощью можно проверять гипотезы в отношении крупных (заметных с первого взгляда) изменений дизайна;
- Требуют относительно немного времени (по сравнению с MVT-тестами, о которых поговорим ниже);
- Для отслеживания каждого отличного элемента можно применять инструменты аналитики (например, количество отправки формы);
- Выделенные фрагменты взаимодействия можно отметить для основы изучения и влияния на поведение привлекаемой аудитории;
- Сплит-тесты (опять же по сравнению с MVT) дают более скорый результат и более явно влияют на конверсию и, соответственно, на прибыль (ввиду того, что, как правило, тестированию подвергаются значимые изменения);
- Проще определить, какой из вариантов показывает себя более эффективным, т. к. отличия между ними значительны.
Итак, как мы определили выше, A/B-тесты, как правило, используются для тестирования единичного кардинального изменения страницы (заменить изображение, добавить CTA-кнопку и т. п.). Мультивариантное тестирование (MVT-тесты) предполагает изменение нескольких элементов страницы сразу. Тестируемые элементы в процессе эксперимента объединяются в различные комбинации, которые затем и участвуют в проверке. При этом различия тестируемых страниц от контрольной отличаются не радикально (например, подобрать наиболее выигрышную оттенки цветовой палитры страницы или переформулировать заголовки). Т. о., MVT-тесты, в отличие от A/B-экспериментов, запускаются сразу на несколько вариантов страниц, незначительно отличающихся друг от друга некоторым набором переменных.
Ключевым условием для проведения MVT-теста: большее количество трафика даст более достоверные результаты. Чтобы добиться максимальной точности теста важно не пренебрегать ложноположительными результатами. Среди ложноположительных результатов одна из комбинаций вдруг может оказаться значимой.
Ключевыми особенностями проведения MVT-тестов являются следующие обстоятельства:
- Для проведения теста требуется либо большой объем трафика, либо высокие показатели конверсии (10-30%). Например, MVT-тест 3×2 (тестирование двух вариаций трех фрагментов дизайна) требует столько же трафика, сколько и A/B-тестирование 9 вариантов.
- Требуется работать с погрешностями (проводить корректировки мультитестирования). При этом также необходимы большие объемы трафика.
- MVT-тесты позволяют собрать информацию для оптимизации процессов, а именно MVT можно использовать для того, чтобы определить, в какую область направить ресурсы, чтобы максимально быстро количественно менять эффективность.
Обращаясь к MVT, следует помнить, что данный вид тестирования не даст таких быстрых результатов, как сплит-тест. Однако, MVT хорошо работает для того, чтобы доработать варианты, отобранные в результате A/B-тестов.
Как можно понять из приведенного выше описания, для проведения описанных видов тестирования следует задействовать различные ресурсы: временные, финансовые (на привлечение трафика, оплату труда), интеллектуальные (аналитика). NIGMA может облегчить проведение экспериментов по следующим направлениям:
- Провести предварительное тестирование гипотез на искусственно сформированной модели поведения потенциальных пользователей сайта. За основу система берет паттерны поведения пользователей сайта, а также пользователей других сайтов (схожих по тематике, аудитории, набору функционала и пр.), изученных NIGMA. Таким образом, можно сэкономить ресурсы тестирования, сузив количество вариантов в эксперименте.
- На основе реально поступающего на сайт трафик смоделировать его поведение на более широкую выборку. Таким образом, можно спрогнозировать, какими могут быть паттерны поведения пользователей сайта, проведя только часть эксперимента, тем самым также сэкономив на ресурсах, необходимых для теста.
- С их помощью можно проверять гипотезы в отношении крупных (заметных с первого взгляда) изменений дизайна;
- Требуют относительно немного времени (по сравнению с MVT-тестами, о которых поговорим ниже);
- Для отслеживания каждого отличного элемента можно применять инструменты аналитики (например, количество отправки формы);
- Выделенные фрагменты взаимодействия можно отметить для основы изучения и влияния на поведение привлекаемой аудитории;
- Сплит-тесты (опять же по сравнению с MVT) дают более скорый результат и более явно влияют на конверсию и, соответственно, на прибыль (ввиду того, что, как правило, тестированию подвергаются значимые изменения);
- Проще определить, какой из вариантов показывает себя более эффективным, т. к. отличия между ними значительны.
Итак, как мы определили выше, A/B-тесты, как правило, используются для тестирования единичного кардинального изменения страницы (заменить изображение, добавить CTA-кнопку и т. п.). Мультивариантное тестирование (MVT-тесты) предполагает изменение нескольких элементов страницы сразу. Тестируемые элементы в процессе эксперимента объединяются в различные комбинации, которые затем и участвуют в проверке. При этом различия тестируемых страниц от контрольной отличаются не радикально (например, подобрать наиболее выигрышную оттенки цветовой палитры страницы или переформулировать заголовки). Т. о., MVT-тесты, в отличие от A/B-экспериментов, запускаются сразу на несколько вариантов страниц, незначительно отличающихся друг от друга некоторым набором переменных.
Ключевым условием для проведения MVT-теста: большее количество трафика даст более достоверные результаты. Чтобы добиться максимальной точности теста важно не пренебрегать ложноположительными результатами. Среди ложноположительных результатов одна из комбинаций вдруг может оказаться значимой.
Ключевыми особенностями проведения MVT-тестов являются следующие обстоятельства:
- Для проведения теста требуется либо большой объем трафика, либо высокие показатели конверсии (10-30%). Например, MVT-тест 3×2 (тестирование двух вариаций трех фрагментов дизайна) требует столько же трафика, сколько и A/B-тестирование 9 вариантов.
- Требуется работать с погрешностями (проводить корректировки мультитестирования). При этом также необходимы большие объемы трафика.
- MVT-тесты позволяют собрать информацию для оптимизации процессов, а именно MVT можно использовать для того, чтобы определить, в какую область направить ресурсы, чтобы максимально быстро количественно менять эффективность.
Обращаясь к MVT, следует помнить, что данный вид тестирования не даст таких быстрых результатов, как сплит-тест. Однако, MVT хорошо работает для того, чтобы доработать варианты, отобранные в результате A/B-тестов.
Как можно понять из приведенного выше описания, для проведения описанных видов тестирования следует задействовать различные ресурсы: временные, финансовые (на привлечение трафика, оплату труда), интеллектуальные (аналитика). NIGMA может облегчить проведение экспериментов по следующим направлениям:
- Провести предварительное тестирование гипотез на искусственно сформированной модели поведения потенциальных пользователей сайта. За основу система берет паттерны поведения пользователей сайта, а также пользователей других сайтов (схожих по тематике, аудитории, набору функционала и пр.), изученных NIGMA. Таким образом, можно сэкономить ресурсы тестирования, сузив количество вариантов в эксперименте.
- На основе реально поступающего на сайт трафик смоделировать его поведение на более широкую выборку. Таким образом, можно спрогнозировать, какими могут быть паттерны поведения пользователей сайта, проведя только часть эксперимента, тем самым также сэкономив на ресурсах, необходимых для теста.
- С их помощью можно проверять гипотезы в отношении крупных (заметных с первого взгляда) изменений дизайна;
- Требуют относительно немного времени (по сравнению с MVT-тестами, о которых поговорим ниже);
- Для отслеживания каждого отличного элемента можно применять инструменты аналитики (например, количество отправки формы);
- Выделенные фрагменты взаимодействия можно отметить для основы изучения и влияния на поведение привлекаемой аудитории;
- Сплит-тесты (опять же по сравнению с MVT) дают более скорый результат и более явно влияют на конверсию и, соответственно, на прибыль (ввиду того, что, как правило, тестированию подвергаются значимые изменения);
- Проще определить, какой из вариантов показывает себя более эффективным, т. к. отличия между ними значительны.
Итак, как мы определили выше, A/B-тесты, как правило, используются для тестирования единичного кардинального изменения страницы (заменить изображение, добавить CTA-кнопку и т. п.). Мультивариантное тестирование (MVT-тесты) предполагает изменение нескольких элементов страницы сразу. Тестируемые элементы в процессе эксперимента объединяются в различные комбинации, которые затем и участвуют в проверке. При этом различия тестируемых страниц от контрольной отличаются не радикально (например, подобрать наиболее выигрышную оттенки цветовой палитры страницы или переформулировать заголовки). Т. о., MVT-тесты, в отличие от A/B-экспериментов, запускаются сразу на несколько вариантов страниц, незначительно отличающихся друг от друга некоторым набором переменных.
Ключевым условием для проведения MVT-теста: большее количество трафика даст более достоверные результаты. Чтобы добиться максимальной точности теста важно не пренебрегать ложноположительными результатами. Среди ложноположительных результатов одна из комбинаций вдруг может оказаться значимой.
Ключевыми особенностями проведения MVT-тестов являются следующие обстоятельства:
- Для проведения теста требуется либо большой объем трафика, либо высокие показатели конверсии (10-30%). Например, MVT-тест 3×2 (тестирование двух вариаций трех фрагментов дизайна) требует столько же трафика, сколько и A/B-тестирование 9 вариантов.
- Требуется работать с погрешностями (проводить корректировки мультитестирования). При этом также необходимы большие объемы трафика.
- MVT-тесты позволяют собрать информацию для оптимизации процессов, а именно MVT можно использовать для того, чтобы определить, в какую область направить ресурсы, чтобы максимально быстро количественно менять эффективность.
Обращаясь к MVT, следует помнить, что данный вид тестирования не даст таких быстрых результатов, как сплит-тест. Однако, MVT хорошо работает для того, чтобы доработать варианты, отобранные в результате A/B-тестов.
Как можно понять из приведенного выше описания, для проведения описанных видов тестирования следует задействовать различные ресурсы: временные, финансовые (на привлечение трафика, оплату труда), интеллектуальные (аналитика). NIGMA может облегчить проведение экспериментов по следующим направлениям:
- Провести предварительное тестирование гипотез на искусственно сформированной модели поведения потенциальных пользователей сайта. За основу система берет паттерны поведения пользователей сайта, а также пользователей других сайтов (схожих по тематике, аудитории, набору функционала и пр.), изученных NIGMA. Таким образом, можно сэкономить ресурсы тестирования, сузив количество вариантов в эксперименте.
- На основе реально поступающего на сайт трафик смоделировать его поведение на более широкую выборку. Таким образом, можно спрогнозировать, какими могут быть паттерны поведения пользователей сайта, проведя только часть эксперимента, тем самым также сэкономив на ресурсах, необходимых для теста.