mvt тестирование что это
Как настроить мультивариантный тест в Visual Web Optimizer за 17 минут
Какой текст лучше сработает — длинный или короткий?
Где разместить форму подписки? Какой СТА повысит конверсию landing page?
Ответ на эти вопросы может дать только тестирование.
Применение A/B-тестов позволяет привлечь на 20–50% больше лидов на сайт и увеличить прибыль в 5 раз при тех же затратах на рекламу.
A/B-тестирование отлично подходит для проверки простых гипотез. Но как быть, если нужно протестировать 4 варианта заголовков + 3 варианта картинок?
Для этих целей существует мультивариантное тестирование.
Давайте разберемся, как запускать подобные тесты.
Главное требование мультивариантного теста
Многовариантное тестирование (или MVT) — это оценка эффективности взаимодействия N-ного количества элементов в рамках одного теста, целью которого является выявление наилучшей комбинации.
Другими словами, это как если бы вы проводили несколько A/B-тестов на одной странице одновременно.
Чтобы проводить тестирование, необязательно владеть сложными инструментами — такими, как Google Analytics. В одной нашей статье пошагово расписано, как создать простой и эффективный A/B-тест за 10 минут, даже если вы блондинка:)
Многовариантный тест настроить несложно, однако есть важный нюанс: в отличие от А/В-теста, для проведения MVT необходим большой трафик (300+ уникальных посетителей в день) или высокая конверсия (>100 целевых действий). Без соблюдения этого условия результаты тестирования увидят разве что ваши правнуки:)
На вашем сайте большой трафик? Отлично! Сейчас я на конкретном примере покажу, как быстро запустить кампанию в Visual Web Optimizer.
Настройка мультивариантного теста за 6 шагов
Шаг 1. Выбираем вид тестирования
Заходим на https://vwo.com/ и нажимаем Dashboard → Create.
Выбираем вкладку Multivariate test.
Шаг 2. Подгружаем страницу
В открывшееся поле вводим адрес (я поиграюсь с лендингом для книги «Идеальный landing page», а вы не списывайте — вводите url своей страницы:)).
Нажимаем Next и ждем, пока страница прогрузится (это может занять до 30 секунд).
Шаг 3. Приступаем к изменению элементов
Действуем аналогично с созданием A/В-теста. Кликаем на нужный элемент (в данном случае заголовок), жмем Edit HTML и меняем его на альтернативный. Подтверждаем изменения нажатием на Done.
После этого в правом верхнем углу появляется строка Variation 1. Это и есть только что созданный вами вариант. Вы можете оставить название или переименовать для удобства, например, в Вариант 1.
Нажатием на кнопку Add Variation добавляем столько вариантов, сколько нам нужно.
После того, как вы создали нужное количество изменений одного элемента (у меня это 2 варианта заголовка + контрольная версия), можно приступать к изменению следующего.
Шаг 4. Создаем комбинации элементов
После того, как мы внесли изменения в следующий элемент, добавляется блок Sеction. Секции тоже можно переименовать. У меня это «Заголовок», «Подзаголовок» и «СТА».
После того, как мы изменили все нужные элементы, нажимаем Next и идем дальше.
Шаг 5. Создаем цель (Goals)
Алгоритм создания цели (страницы, на которую попадет пользователь после целевого действия) точно такой же, как в А/B-тестировании. В примере это будет так называемая страница «спасибо».
Шаг 6. Завершаем создание кампании
Нажимаем Finish и попадаем на финальную страницу, где можно посмотреть получившиеся комбинации элементов.
Важно! Копируем код и отдаем верстальщику (либо прописываем его самостоятельно в теге head). Вот так:
Многовариантное тестирование vs. A/B тестирование: Постепенные vs. Радикальные изменения
Резюме: Радикальные редизайны лучше всего тестируются при помощи A/B тестирования, в то время, как многовариантные тесты показывают, как различные элементы интерфейса взаимодействуют друг с другом и способствуют постепенному улучшению дизайна.
В мире методов оптимизации дизайна A/B тестирование самый популярный метод. Многовариантное тестирование – это менее понятная альтернатива, часто считающаяся слишком трудоемкой, чтобы ее использовать. Хотя этот метод имеет свои ограничения, они уравновешиваются преимуществами, которые трудно достигнуть с помощью A/B тестирования.
Многовариантное тестирование (МВТ)
Предположим, вы хотели оптимизировать дизайн страницы продукта, чтобы максимизировать конверсию добавления товара в корзину. Вы рассматриваете несколько возможных изменений:
Многовариантный тест может помочь вам решить, какая комбинация этих вариантов дизайна будет оптимизировать конверсии.
Давайте сначала разберемся в терминологии:
В нашем примере электронной коммерции переменные представляют собой визуальное представление продукта и подпись кнопки призыва к действию.
Изображение и видео продукта представляют собой два варианта визуального представления переменной; подписи «Добавить в корзину» и «Купить сейчас» – это варианты призыва к действию.
В нашем примере будет 4 вариации дизайна, соответствующие всем возможным комбинациям вариантов переменных: изображение × Добавить в корзину, изображение × Купить сейчас, видео × Добавить в корзину, видео × Купить сейчас.
Определение: многовариантный тест (МВТ) – это метод оптимизации дизайна, в котором несколько вариантов указанных переменных тестируются в интерфейсе с целью максимизации конверсий (важных конверсий, таких как завершение заказа, или микроконверсий, таких как взаимодействие с элементом на странице). Этот метод определяет, какая комбинация вариантов приводит к наивысшей производительности (с точки зрения указанной цели конверсии).
В многовариантном тесте проверяются 2 или более элементов дизайна (переменные). Каждая из этих переменных может иметь несколько вариантов. Например, на приведенной выше странице мы могли бы протестировать две переменные: визуальное представление продукта (с двумя вариантами: изображение или видео) и подпись основного призыва к действию (с 2 вариантами: Купить сейчас или Добавить в корзину).
Разница между многовариантным и A/B тестированием
Многовариантное тестирование часто рассматривается как разновидность A/В тестирования, хотя их настройка и сильные стороны несколько отличаются. Ниже приведены сходства и различия между ними:
Напротив, если вы используете МВТ, вы, как правило, сможете определить значимость одного конкретного варианта или комбинации вариантов. Таким образом, вы сможете, например, узнать, что видео продукта значительно увеличивает конверсию, по сравнению с изменением подписи кнопки. Это может дать вам дальнейшую стратегию и понимание дизайна (например, это может сказать вам, что стоит инвестировать в создании хороших видеороликов).
МВТ измеряет взаимодействия между элементами
Вернемся к нашему первому примеру с электронной торговлей. Вы можете задаться вопросом, дадут ли два последовательных A/B теста тот же результат, что и МВТ. В частности, давайте представим, что сначала вы запускаете A/B тест для сравнения видео с изображением – предположим, что видео победит. Затем, по вариации выигрыша (т. е. Видео), вы проведете еще один A/B тест между двумя возможными подписями кнопок, и «Купить сейчас» окажется лучше. Разве этот результат не был бы эквивалентен тесту МВТ?
Ответ: не обязательно. Возможно, оптимальная комбинация – это изображение × Купить сейчас, но вы не проверили эту версию.
Основным преимуществом запуска многовариантного теста вместо A/B теста, является способность определять, как различные элементы на странице взаимодействуют друг с другом. Только тестируя каждую комбинацию различных вариантов, вы сможете не только понять, что визуальный элемент А работает лучше, чем визуальный элемент B, а эта кнопка C работает лучше, чем кнопка D, но вы также можете найти наилучшую комбинацию из них.
Ограничения МВТ
Вариации, возникающие из каждой комбинации вариантов, размножаются как кролики. Даже наш довольно простой пример электронной торговли имеет 4 вариации дизайна для сравнения, соответствующие всем возможным комбинациям двух переменных. Добавление еще одного варианта для переменной «призыв к действию» (например, «Покупка») создало бы еще 2 вариации, генерируемые путем объединения этого варианта с 2 другими вариантами переменной визуального представления. (В общем, количество вариаций будет получено путем умножения числа вариантов для каждой переменной. Tак что, если у вас было 2 переменные, одна с 2 и другая с 3 вариантами, вы получите 2 × 3 = 6 вариаций.)
Две переменные, каждая из которых имеет 2 варианта, приводят к 4 вариациям дизайна в многовариантном тесте, чтобы представить все возможные комбинации этих вариантов.
Большое количество вариаций, которые необходимо протестировать в многовариантном тесте, приводит к наибольшему ограничению этого метода: для того, чтобы достичь статистической значимости, обычно требуется больше трафика для выполнения многовариантного теста по сравнению с A/B тестированием. Это связано с тем, что каждая вариация, добавленная к сравнению, приводит к тому, что реальный трафик делится на более мелкие части, и, следовательно, также может потребоваться много времени для сбора достаточного количества данных для каждой альтернативы дизайна. (Однако имейте в виду, что время, необходимое для запуска теста, зависит не только от общего трафика, но и от ожидаемого изменения коэффициента конверсии для цели эксперимента, поскольку более крупные улучшения легче измерить, чем небольшие.) В общем, разделение реального трафика между большим количеством вариаций приводит к более длительным экспериментам.
Другим ограничением МВТ является то, что все комбинации вариантов должны иметь смысл вместе. Например, при тестировании вариантов изображения и заголовка на странице не следует писать заголовки, которые относятся к деталям варианта изображения (например, «Замечательные спа-каникулы» и «Замечательный отдых на пляже» с соответствующими фотографиями), потому что каждый заголовок будет сопровождать каждое изображение в вариации для теста. Такой тип экспериментов лучше проводить как A/B тестирование, поэтому комбинации могут быть более контролируемыми.
Используйте МВТ для улучшения дизайна, а не полной его переделки
Многовариантное тестирование – скорее отличный способ внести дополнительные улучшения в дизайн, а не провести полный редизайн. Поскольку оно требует, чтобы вы идентифицировали определенные элементы, представляющие интерес, на странице для тестирования нескольких вариантов этой переменной, вы не сможете легко сравнивать радикальные изменения в разных вариантах.
Для крупных редизайнов запустите A/B тест между оригиналом и предлагаемой новой версией, чтобы определить какая лучше. Затем уточняйте различные элементы выигрышного дизайна, используя многовариантные тесты. Всегда проводите итерации!
Если ваша цель – перейти к основательному редизайну (например, редизайн макета), A/B тест для сравнения этого нового дизайна с текущим является более подходящим, чем МВТ. Как только вы найдете более эффективный дизайн, используйте многовариантные тесты для дальнейшего улучшения определенных элементов в победившем макете.
Когда мультивариантные тесты лучше A/B-тестов?
Что такое мультивариантный тест?
В A/B-тестах обычно сравнивают два варианта, которые значительно отличаются друг от друга. Это выглядит так:
Мультивариантное тестирование измеряет эффект от взаимодействия независимых элементов, чтобы выявить наилучшую комбинацию. Как если бы вы проводили несколько A/B-тестов на одной странице одновременно.
При помощи A/B-тестов можно сравнить дизайнерские решения и получить значительные результаты (так как тестируемые варианты значительно отличаются друг от друга).
МВТ помогут выявить элементы влияния, которые помогут добиться цели. Например, что имеет значение: шаблон страницы, изображения или CTA.
Убойный заголовок останется незамеченным, если крутая фотография привлекает внимание к другому элементу на странице.
A/B-тесты подходят для крупных изменений.
Поиграть цветами и шрифтами – это к мультивариантному тестированию.
Таким образом, сначала определяемся с лучшим вариантом при помощи A/B-теста. А затем проводим МВТ, чтобы оптимизировать заголовки, тексты на кнопках и так далее.
Типы МВТ
Виды мультивариантных тестов: полный (full factorial), частичный полный (fractional factorial) и тест Тагучи (Taguchi).
1. Полный тест. Весь трафик распределяется между вариациями. Например, из 16 проверяемых комбинаций каждая получит 1/16 трафика сайта. Так как варианты получают одинаковый трафик, тест предоставит информацию о том, какая комбинация приносят лучший результат.
2. Частичный полный тест. Посетители сайта увидят только часть тестируемых комбинаций. Процент конверсии для «невидимых» вариаций принимается за аналогичный определенным комбинациям, которые были включены в тест.
В блоге Adobe частичный мультивариантный тест сравнивают с барометром. Ценность барометра не в точном измерении атмосферного давления, а в указании на изменение.
3. Тест Тагучи. Изначально использовался в промышленности. Выводы сделали для сокращения количества вариантов, которые тестировали в ходе QA и других экспериментов. Основан на эвристических оценках и не подходит для онлайн-тестов.
Как правильно
Ошибки, связанные с проведением МВТ, неуникальны и справедливы для A/B-тестов.
2) не учитывать вероятность ложноположительных результатов;
3) не использовать МВТ для оптимизации сайта.
Главное условие: много трафика или высокая конверсия.
Например, типичный МВТ – 3 х 2 (проверка двух версий трех элементов дизайна) потребует столько же трафика, сколько A/B-тест с 9 вариантами (3 2 ).
Чтобы снизить потребность в трафике при МВТ, проводите частичный тест.
Правило: если ваш трафик меньше 100 000 уников в месяц, проводите A/B-тест.
Исключение – высокая конверсия (10%-30%).
2. Вероятность ложноположительных результатов.
В процессе мультивариативного тестирования возрастает вероятность ложноположительного результата.
Для каждого варианта вы проводите отдельные A/B-тесты. Если вы проверяете 20 изменений и есть 5% вероятность, что для каждого вы получите ложнопозитивные результаты, то одна вариация внезапно может оказаться значимой.
Способы срабатывать с погрешностями называют корректировками мультитестирования. Чтобы получить заметный результат, потребуется большое количество посетителей на сайте.
3. МВТ и оптимизация.
Оптимизация требует информации для обоснования решений. МВТ поможет собрать данные.
Чем меньше времени вы тратите на принятие решений, тем выше ROI. Чем быстрее вы двигаетесь, тем быстрее подниметесь на новый уровень. Используйте МВТ как инструмент сбора данных, который показывает, куда направить ресурсы.
Обязательно определите, чего вы ожидаете от МВТ: выявить лучшую комбинацию элементов или определить, какой элемент (заголовок или кнопка) работает лучше прочих?
Инструменты
Итоги
1. Тестируйте, чтобы собрать данные для решения об оптимизации сайта.
2. Если трафик на сайт меньше 100 000 уников в месяц, проводите A/B-тест. Исключение – высокая конверсия (10%-30%).
3. Используйте A/B-тесты, чтобы определить лучшую структуру. Используйте МВТ, чтобы довести ее до совершенства, убедиться, что элементы взаимодействуют лучшим образом.
Мультивариантное тестирование (MVT): что это такое? (Часть 1)
Эта статья выйдет в 2 частях. Сегодня мы вкратце расскажем Вам о мультивариантном тестировании, а в следующий раз продемонстрируем, как можно проводить такие тесты с Kameleoon.
Что такое MVT?
A/B-тестирование – это эксперимент, который проводится на веб-сайте, позволяющий сравнить исходную версию страницы с другой (так называемой вариацией) версией, в которую были внесены изменения. Мультивариантный тест (или MVT) – это форма A/B-тестирования, в которой каждая вариация включает несколько модификаций одновременно. Идея заключается в том, чтобы одновременно протестировать все возможные комбинации нескольких элементов на одной странице, чтобы в итоге определить, которая комбинация оказывает большее влияние на показатели конверсии. Вот простой пример: Представьте, что Вы хотите поменять и цвет, и формулировку кнопки CTA. Что касается цвета, то Вы хотите протестировать желтый, синий и красный цвета. При изменении формулировки есть 2 варианта: Start (Начать) и Buy (Купить). Kameleoon генерирует 6 версий Вашей страницы, учитывая эти 6 комбинаций:
Мини-глоссарий терминов MVT: Мультивариантный тест: это тест, дающий возможность протестировать показатели конверсии для одной или нескольких комбинаций нескольких элементов. MVT: сокращение от Multivariate Test Секция: секция группирует вместе несколько вариаций элемента. Например, секция «цвет», секция «формулировка». Вариация: это предложение модификации элемента. Вариация отличается от исходной версии страницы. В MVT мы можем создать несколько вариаций, которые мы группируем в секции. Например, вариации секции цветов будут следующими: синий, красный, желтый. Вариациями формулировок будут «Start» и «Buy». Комбинация: комбинация означает несколько вариаций различных секций, которые мы сочетаем и отображаем одновременно для соответствующих посетителей.
Какую ценность представляют собой MVT для Вашей стратегии оптимизации?
MVT позволяют:
— четко идентифицировать причины, которые оказывают влияние на Вашу конверсию Первое преимущество MVT перед обыкновенным A/B-тестом заключается в том, что он позволяет лучше понять причины разной эффективности между вариациями. Систематически разбивая модификации в разные вариации, можно более четко отслеживать и измерять влияние каждой из них на конверсию. — экономить время Автоматическое создание комбинация сэкономит огромное количество времени Вам. Это особенно актуально, когда нужно учесть множественные факторы. Если мы добавим к цвету и тексту CTA еще и 2 возможные формы (прямоугольная и квадратная), то у нас будет 2х2х3=12 разных комбинаций для того, чтобы протестировать, какая дает лучшую конверсию.
Теперь Вы знаете, что такое MVT и в чем польза таких тестов. В следующей статье мы покажем, как это работает с Kameleoon. Не пропустите!
A/B/n и MVT-тестирование: польза для бизнеса, сходства и различия
Здравствуйте. Меня зовут Людмила, я маркетолог в компании Altcraft. Сегодня поговорим с вами о том, как найти правильный вариант контента. Предлагаем использовать данные A/B/n и MVT тестов вместо догадок. Узнайте в статье, чем отличаются эти виды тестирований, как их провести и почему они важны для вашего бизнеса. Приятного чтения.
A/B/n тестирование — метод, где сравнивают эффективность нескольких вариантов контента на странице сайта, в email-рассылке и в других кампаниях. Проверяют отдельные элементы или нескольких разных шаблонов. Цель тестирования — понять, какая версия работает лучше и даёт больше конверсий.
A/B/n test — это A/B тестирование, но есть разница. Обычный сплит-тест (другое название A/B теста) проверяет только 2 варианта, а трафик делится 50/50% для каждой версии.
A/B/n сравнивает больше двух вариантов, и трафик равномерно распределяется между каждой версией.
Например, маркетинговая команда предлагает 4 вариантов нового дизайна сайта и не может договориться, какой лучше. Тогда запускается A/B/n тест, где каждый вариант получит 25% трафика.
Какие элементы можно тестировать с помощью A/B/n (некоторые примеры):
Зачем проводить тестирование? Оно помогает уйти от догадок маркетологов и интуитивного принятия решений к действиям на основе данных. Такой подход:
Снижение рисков денежных потерь. Чем проще клиенту найти нужный товар и сделать заказ, тем с большей вероятностью он купит именно у вас. Незаметные кнопки и непонятная навигация ведут к потере клиентов и потенциального дохода.
Увеличение конверсии. С помощью теста вы найдёте самые кликабельные варианты, которые быстрее приведут ваших клиентов к покупке.
Проверка идей. Во время разработки нового дизайна случаются споры. Чья идея лучше? Покажет сплит-тестирование, которое проверит гипотезы и решит конфликт мирным путём.
Увеличение трафика. Произойдёт, если снизить показатель отказов (Bounce Rate), который учитывают поисковые системы при ранжировании сайта. Удобная посадочная страница задержит пользователей дольше — это хороший признак для поисковиков. Пользователям интересно, они остаются на сайте — можно показывать эту страницу чаще.
Экономия ресурсов. Тест быстрее покажет, какие варианты рабочие, чем споры и проверка по одной версии контента последовательно.
Новые идеи для будущих кампаний. Поведение пользователей с разными вариантами дизайна — источник для новых инсайтов, иногда неожиданных.
Большой объём трафика. Для обычного A/B тестирования трафик делится на 2 части, для A/B/n — на несколько равных. Результаты будут значимыми только при достаточном трафике для каждого варианта.
Проверка только одного элемента. Тест покажет, какой вариант оказался лучше (например, на тёмную кнопку кликали чаще, чем на светлую). Другие факторы, которые повлияли на результат, останутся неизвестными.
Санкции поисковых систем. При тестировании вариантов дизайна сайта поисковики могут заподозрить вас в клоакинге — поисковом спаме, когда пользователь и поисковая система видят разные варианты страниц.
Ищем, что работает неэффективно или вообще не приносит никаких результатов. Например, пользователи редко кликают на кнопку «доптовары» на сайте или не переходят на страницу заказа из email.
Определят «слабые места» инструменты Google Analytics, вебвизоры и анализ обращений пользователей в техподдержку.
Гипотеза отражает, какое действие улучшит показатели. Например, если изменить цвет кнопки «доптовары» на более яркий, то количество кликов увеличится в 2 раза.
Проверять за один тест можно одну гипотезу. Например, для кнопки «доптовары» — это несколько разных цветов: красный, синий, жёлтый. Менять одновременно размер шрифта и положение кнопки уже нельзя.
Другой вариант — тестировать дизайн полностью.
Результаты теста нельзя оценивать без привязки к метрикам: количеству показов, кликов и другим, которые вы планируете улучшать. Инструменты для отслеживания должны работать до начала теста. Не забудьте проверить кнопки, формы и отображение элементов, которые собираетесь тестировать.
Для репрезентативного результата нужно определённое количество посетителей сайта, которые увидят вашу страницу. Как его рассчитать? Использовать специальные онлайн-калькуляторы: Optimizely, Driverback и другие.
Например, сейчас конверсия 5%. Мы хотим улучшить её на 10%. Вводим параметры в калькулятор и получаем 30 244 человек — столько нужно уникальных просмотров на каждый вариант.